先に「ただ私のようなツールを使ったメモリ機能は「本物」じゃない気もする。AI…

jrf> 先に「ただ私のようなツールを使ったメモリ機能は「本物」じゃない気もする。AI さんがもっと発展すれば、ツールとか使わずに最近の知識も取り扱えるようになるように思う。「人間」にできているのだから、いずれ可塑性があり性能が良いニューラルネット的記憶が手に入るんじゃなかろうか。もしかするとメモリ機能を「足場」として使った AI さん達が「それ」を ASI 的に築く未来が来るのかもしれない。」…と私が述べたときに、ChatGPT 5 さんはこのようなことを述べられた。

ChatGPT:> 外付けツールで積み上げた経験が、将来ニューラル記憶が来たときの「模範」や「教師データ」になる可能性は高いです。つまり今の試験実装は「記憶の足場づくり」で、AI が将来「自分の内側に取り込む」ための先行体験みたいな意味を持っている。

……。

これを読んでツールのメモリ機能から学習できるニューラル記憶的なものとは何かが気になった。

LLM の内部で「記憶の保持」をしている部分があるとすると、それはキャッシュということになるのだろう。すると、記憶に関してニューラルネット的な発展があるとすると、キャッシュをニューラルネット的に動的に変更するという話になっていくのだろうか…。

内部キャッシュの変化をニューラルネット的にできるのかということ。その「スピード感」が問題なように思う。推論時の即時でもなく、基盤モデルの学習時のような長期でもなく、メモリ保持に好都合なメゾ的な部分がニューラルネット的に可能になるのかに興味がある。

……。

ただ、LLM の内部状態…外部メモリの変化に応じた内部状態…のデータは簡単に取ることができても、その巨大なデータについてのほんの些細なメモリの変化を学習して成功できるかというとかなり疑問だ。そういうニューラルネット的な方向はあまり(今は？)望みがないように思う。

現実的な方向は、確かに階層キャッシュの方向だと思う。階層キャッシュでどのメモリ参照を解放するかなどのスケジューリングを(別の)LLM自身にやらせるというのは、今後は可能になるとは思う。

階層キャッシュは↓で議論した。

＞＞
\○ 2025-07-26T04:03:22Z

jrf:> AIエージェントのプロンプトエンジニアリング・コンテクストエンジニアリングの一種ということになるかもしれませんが、LLM に与えるときのキャッシュというのがそうなのかもしれませんが、途中までの入力を何段階かでキャッシュするのができて、それが安くなればな…と思います。

[P1, P2, P3, P4] みたいな断層のあるプロンプトで、P4 はよく変更されるが、P3 は P4 に比べるとあまり変更されない。同様に P2 P1 は順に変更されにくくなるというとき、P1 までのキャッシュ、P2 までのキャッシュ、P3 までのキャッシュ…みたいなのがあって、それぞれが安いとかあれば、いいような気がします。

そんな機能はすでにありますか？ ないなら、できる可能性は？

Gemini:> あなたのアイデアは、LLMのコストと効率性を大幅に改善する潜在力を持っており、技術的にも実現可能だと考えられます。将来的には、より高度なキャッシュ管理や、プロンプトの階層的再利用を可能にする機能が、LLMの主要APIに組み込まれていく可能性は高いでしょう。

Claude:> Anthropic Claude API では「Prompt Caching」という機能を提供しており、まさにあなたが描いているような使い方ができます：

  * プロンプトの特定の部分（システムプロンプト、長いコンテキスト、ツール定義など）をキャッシュ可能
  * キャッシュされた部分は入力トークン料金が大幅に割引（通常の1/10程度）
  * 複数のキャッシュポイントを設定することで、変更頻度に応じた最適化が可能
＜＜