ロボットの進展を願って、一人で考えたこと二題。わりと長い時間一人で考えていたんだ…

jrf> ロボットの進展を願って、一人で考えたこと二題。わりと長い時間一人で考えていたんだが、結局、まとまった思考にならなかった orz。

1. ロボットとLLM間の相互作用。
2. 運動は協調の仕方を生成している。

まず 1 について。

[cocolog:96106599](2026年8月)
http://jrf.cocolog-nifty.com/statuses/2026/08/post-f4a7f8.html
＞私のAttentionPatternDiffusion構想を思い出して欲しいのですが、LLMで規則を指定するとそれが変換されてもう一つのLLMやロボットに反映される…AttentionPatternなのかなんなのかはまだ確定していませんが。

そして、もう一つのものがロボットの場合、ロボットの状態をLLMに伝えたいときが来るでしょう。単に「その時」だけでなく「今歩いている」とかそういう状態が欲しいので、アテンションの情報も渡すのか、バッチを渡すのか、それをLLMの表現に変換する方向も必要のように思います。

するとそういう状態入力がないフィボナッチ数列規則の移植とかは、バッチの長さ0の特別なパターンとなるのでしょう。
＜

このようなロボットとLLMの相互作用をするとき、ロボットの状態を LLM に伝えるとき、当然、ある程度、情報が欠落するわけだが、それを受けて LLM からロボットに指示を出すときは、欠落する前の情報が「キャッシュ」などに残っていて、それも情報として使えたほうがいい。

LLM からロボットに指示を出すとき、元々「アテンション保存変換」が必要とかが私の構想なわけだが、それも KV「キャッシュ」に注目していた。

キャッシュ…つまり、一定の記憶の保持が変換において重要になる感じである。

LLM に「記憶」をもたせるのは、ファイルやメモリなどの文章で持たせるのが主流となり、上の私の構想でもプロンプト補完…つまり補完された文章の意義を強く認めていたわけだけど、「アテンション保存変換」などの場合はそうではないキャッシュなどの記憶層が大事になると見立てようということかもしれない。「そこ」に、文章では十分にできない「何か」がある。…と。

でも、それが何なのかは未だに私にはわからない。キャッシュは巨大になるもので、しかも「アテンション保存変換」といった場合は、アテンションの Q,K,V それぞれがあったほうがいい気がしている。しかし、すると、移す前のものが巨大になり過ぎるということでもある。しかも、単純な NN では表現力が足りず、Diffusion や LLM レベルでないと能力が足りないだろう。

並列コンピュータならば苦もない…と言えればいいのだが、そういうレベルになるのかどうか…。