忘れん坊の外部記憶域

興味を持ったことについて書き散らしています。

ブログ記事のクラスタリング試験中

 

 私が、私のために、まとめたいのだ。

 

もう無理

 雑記も膨大に混じっているものの、5年以上もオピニオン記事を毎日垂れ流してきたせいで、もはやこのブログの全容を私自身が把握できなくなりつつあります。

 というか、すでに無理です。

 

 初期は

「そう言えばこの記事でこういうことを書いたことがあったような、よし引用しよう」

 中期は

「たしかこんなことを書いた記憶が、検索して探すか。そうそう、この記事とこの記事だ、よしリンクを貼ろう」

 今は

「何度か書いたことがあるし表現や事例を変えて書いたこともあるから、どこがどれでなにがなんなのか」

 

 もうしっちゃかめっちゃかです。

 

機械に頼って生きていこう

 過去に一瞬ネットの動画サイトで流行った総合機械商社のCMにおける名言が大好きです。

 「機械に頼って生きていこう」

 ネガティブでもなんでもなくただの現実であり、むしろ素晴らしいことじゃないですか。我々はより大きなことをしたり、より楽をするために機械を作ってきたのですから、それに頼るのは何も不自然なことではありません。これこそが文明というものです。石や草を手足の延長として用いてきたように、道具に頼ることこそが人間でしょう。

 

 よって今回も機械に頼ります。

 具体的には、AIにブログをまとめさせます。

 幸いうちのブログは手抜きで画像や動画をほぼ使っていないテキストオンリーのストロングスタイル(弱み)ですので、分析自体はやりやすいはずです。

 記事を読み込ませて、傾向をクラスタリングして、クラスタに沿った記事群を抽出し、それらを結合して要約させて「まとめ記事」を作る。

 やること自体はシンプルでしょう。

 以前試した時はデータ容量が大きすぎて諦めたのですが、工夫したら上手くいきそうな気配を感じたので再挑戦しています。

 

やっていることメモ

 せっかくなのでやっていることの記録を取っていきます。

 今回はClaude君にお願い中です。

 

私「はてなブログをTXTでエクスポートしたからアップロードするね、この記事群をクラスタリングできる?」

Claude「テキスト多すぎて読み込めない、無理」

私「年ごとに分割するから、そこをなんとか」

Claude「ファイルサイズが大き過ぎてプロジェクトに収まらない、無理」

私「チャットで一つずつ受け渡すから、そこをなんとか」

Claude「だから全部は無理だって、タイトルと日付とカテゴリだけならリスト化できるから、そこからクラスタリングしてやるよ」

私「ごめん、うちの記事、タイトルがゴミ過ぎて中身の予測はできないと思う。ファイルを編集して扱える範囲まで圧縮してから、本文のキーワードを抽出して、そこから分類することはできない?」

Claude「しょうがないな、じゃあ日本語形態素解析とTF-IDEで各記事の重要キーワードを10個以内で抽出して、コサイン距離とHDBSCANでキーワードからクラスタリングしてやるよ」

私「何言ってるか分からないけど宜しく!」

 

Claude「よし、クラスタは24、それぞれのマガジンとしては4つに区分できたぞ、これでいいか」

柱A:社会・政治・情報の見方(7クラスタ / 306記事)

6 地政学 21 政治選挙 9 陰謀論 24 情報リテラシー 12 議論マナー 8 正義論 5 国際指標
→ 一貫して「物事をどう見極めるか」がテーマ。硬派な思考エッセイの柱。

柱B:仕事・組織論(8クラスタ / 208記事)

14 若手育成 17 品質組織 13 ミス分析 18 組織異動 19 会議働き方 15 技術屋営業 4 目標設定 1 お金経済
→ ビジネスパーソン向けの実務エッセイ。読者ターゲットが最も明確な柱。

柱C:科学・思考・AI(4クラスタ / 66記事)

0 AI論 2 科学リテラシー 10 リスク認知 11 学問論
→ 数は少ないが独自性が高い。無理に他と混ぜない方が際立つ。

柱D:暮らし・エッセイ(5クラスタ / 243記事)

20 出張旅行 22 語学学習 3 健康生活 16 家族実家 7 感情論
→ 肩の力を抜いた読み物枠。

 

私「良さげ!じゃあ次は、各クラスタごとに記事を抽出して、全部の記事を読み込んだうえで要約記事を作って。冒頭にはAI要約だってことを明記してね。あと、元記事のリンクは全部貼って、固定ページで設置するからURLタイトルも決めて、画像生成苦手なのは知ってるけどせっかくだしアイキャッチ画像も生成宜しく」

Claude「いっぺんには無理だからな? 一つずつならやってやるよ」

 

 存外、やってくれました。

 

何年振りだ?

 そんなわけで、ブログの上の方に置いているリンクが少し変わりました。

 誤差レベルの変化なので気付かない人のほうが多そうです。

 あと、まだ作業中なので中身は未完成です。

 

 あまりにも記事に画像を使わないせいで、今回アイキャッチ画像を設置するのにすら手間取ったのはここだけの秘密。

 まさか、5年以上もブログをやってきて、アイキャッチ画像もまともに設定できないなんて、そんなまさか。

 

結言

 ひとまず記事整理方法が確立できたので満足です。

 次のレベルとしては、「ユーザーが分析クラスタを自分で選ぶことができて、自動で関連記事を集約し、動的に新しいページを作る」仕組みが欲しいです。

 例えば「○○○」について知りたいと思ったユーザーのためにワード検索で「○○○」の入っている記事を全て出力するのではなく、近接概念も含めた「○○○」関連について「このブログではこのように述べています、関連リンクは以下です」と提示するページが動的に生成される、そんなイメージ。

 おそらく便利で素敵です。

 理屈上、たぶん普通に実装できそうな気もします。言語解析が入るので生成AIは必須でしょうが、逆に言えば生成AIを上手く使いこなせばこのくらいは。

 残念ながらそれを試す暇はないですけども。