「プレプロンプト学習」と「マージ蒸留」が今後の鍵なのかも。…

jrf> 「プレプロンプト学習」と「マージ蒸留」が今後の鍵なのかも。

動物(人間含む)の学習効率は AI よりもとても良いが、その可塑性を現在の AI の枠組みで無理矢理実現するなら、行動のロジック(戦略記述？)をプロンプトで表現しておき、RLRMDiffusion (Reinforcement Learning Result Model Diffusion)([cocolog:95459644](2025年5月)) なりなんなりに渡すが、そのプロンプトの行動ロジックを変形させることによって違う行動を促すということが考えられる。その行動ロジックというプロンプトの部分で学習してしまうということである。

LLM にも同様のことができる。その場合、プロンプトの一部である「プレプロンプト」の部分で学習するという方向が考えられる。これは LoRA よりも効率的なのかもしれない。そういう学習ができる構造は、言語による論理や、グラフなどであるかもしれないし、AI時代の羅針盤さんが紹介されていたような思考そのものをバイナリ的に扱う方向もあるのかもしれない。

しかし、VLA 的な文脈に戻ると、実際に基盤モデルが学習しているのは、プレプロンプトがある一定に定まったもの…機械や状況が制限された部分だけのことが多い。そこは LLM とは状況が違う。すると特定のプレプロンプトに対して学習が進んでいるものについて、それらを複数(かなりたくさん)集めて、それをプレプロンプトの変更に対応するようなモデルマージ(蒸留的技術を使うのだろう)が大事になるのかもしれない。

《AI時代の羅針盤 (compass for the AI era):X:2025-10-26》  
https://x.com/compassinai/status/1982206786984960347
＞【AIは「会話」をやめ、「思考」で繋がる。】

AIの「集合知」を引き出すため、多くのAIが"議論"を交わしています 。しかし、その「言語化」はAIにとって非効率そのもの 。

Meta AIやカーネギーメロン大学は、AIが「内部の思考」を直接交換する、全く新しいコミュニケーションの形を提案します 。

AIの"頭の中"を読み解き、必要な思考だけを直接送り込むこの技術 。

それは同時に、人間の理解が及ばない"AIだけの知性"が加速する可能性も秘めています 。

言語の制約から解放されたAIの協力体制とは、一体どのようなものになるのでしょうか？

#潜在思考 #コミュニケーション #マルチエージェント

https://www.youtube.com/watch?v=vkstPtA-uOI
＜