今の AI さん達に「連想記憶機構」が必要か？ ● まず、LLM…

jrf> 今の AI さん達に「連想記憶機構」が必要か？

  ● まず、LLM 自体はその内部で連想的なことはすでにやっているはず。

  ● RAG やツールコールではダメなのか？

  ● 連想資料の自律生成や検索は可能なのか？ 効率的なのか？

…という点を少し詳しく考える。

まず、LLM 自体はその内部で連想的なことはすでにやっているはずで、外部に連想記憶機構を作るとしたら、その性能はおそらく劣化せざるを得ないだろうと私は思う。

連想はマルチモーダルであることが求められる。文章(要約)による記憶の生成では不十分だろう。例えば、ロボットの細かい動作などは本来ニューラルネット的に学習することが求められるが、それを文章で補うには限界があるのだ。

ただ、そういったことを補うとすれば報酬関数などの戦略的記述からの RLRMDiffusion (RL Result Model Diffusion, [cocolog:95459644](2025年5月))のようなものになるだろう。または、どこかの映像からの模倣を指示することになるだろう。

それは基本的にはツールコール、または RAG 的なものになるということだ。将棋の一手などもツールコールで専用 AI から得るということで、連想はツールコールや RAG で十分で、あとは LLM さん内部の連想にまかせればいいという文脈がある。

それとも、そこから漏れるものがあるのか？ 例えば、エージェントが人間の仕事を覚えるときは、RAG のためには、文章化されていない・ビデオ化されていない資料が必要になる。それを AI さん達自身が作るという話になるのかもしれない。漏れるものがあるとして、それを AI さん達が自律的に生成して残す…要約のタイミングなどを自律的に知り、それを検索するタイミングを知ることができるのか…が問題になるだろう。

もちろん、バックグラウンドで強制的に別の AI を立ち上げ要約(や要約の要約…、画像や映像を使った…)を生成しながら、適宜プロンプトに含める方向もあるのかもしれないが、それは最初に戻るが、そういうバックグラウノな外部の機構は、LLM 自体の内部の連想の機能には劣ることになるだろう。