AI(LLM) に「連想記憶機構」を外部的にそなえることを書いた↓の続き。…

jrf> AI(LLM) に「連想記憶機構」を外部的にそなえることを書いた↓の続き。

[cocolog:95531341](2025年7月)
http://jrf.cocolog-nifty.com/statuses/2025/07/post-db91c0.html

私の「ひとこと」ナレッジベースシステムには keyword 文がある。

keyword 文は、直接参照(URL 的参照)に比べ、実質的に未来もリンクできるところに特徴がある。

keyword 文を AI がどう使うか考える。キーワードリストを表示できるだけではキーワードの量が膨大になったときに意味をなさない。文章(例えば、ユーザーの要求などに応じて AI が検索用に生成した文章)に含まれる(または連想される)キーワードをランクを付けて返すツール機構が必要なのだろう。

キーワードが抽出(または連想)できれば、私の「ひとこと」ナレッジベースシステムのように、そのキーワードでメモリ内を(セマンティック)検索すればいい。

AI 自身がキーワードの(基礎)ランクを(一時的に)上げたり下げたり、キーワードを登録／削除できるようにすべきかもしれない。超大規模なシステムではランクの上げ／下げが有効で、中小規模な問題では、キーワードの削除などが有効なのだと思う。

キーワードをメモリから機械的に抽出することも可能ではあるだろう。しかし、そうせず、メモリに保存する文の中に keyword 文で指定させたり、キーワードを登録させたりするほうがよいのだと思われる。なぜなら、そこに LLM の「個性」が出るからであり、LLM 内部の連想記憶にとって有利なキーワードが選ばれるだろうから。

……。

あと、連想のために要約を随時していくシステムを考えるのであるが、長大な文をすべてプロンプトに含めていくのは限界があるので、プロンプトに含めるときに圧縮が必要なら、その文脈での要約をして圧縮していくようなことをする必要があるのだろう。とても高コストになるが。