(承前) ……。 結論としては…。 Gemini さんは LLM…

jrf> (承前)

……。

結論としては…。

Gemini さんは LLM を偽装する関数 LLM_API_PSEUDO_CORE を作ってまず提示してくれたのだが、それでも実験はうまくいったのが、当初、それが謎で気に食わなかった。中身をよく考えるうちに、警告や記録がなくても「相転移」を起こしていることがわかった。偶然となんちゃって P 制御で「相転移」は起きていたことになる。これは全然創発ではない。

そこで、警告や記録を見る形に LLM の偽装を変更してもらうようにした。LLM_API_PSEUDO_CORE3 を使った実験である。すると、すばやく「相転移」し、警告ネットワークの構造の変化をとらえるようにもなった。しかし、警告を見るのは微分を見ることに相当するし、記録を見るのは積分を見てることに相当する。結局これは劣化 PID 制御で、アルゴリズミックな制御に過ぎないように私は思う。

では本物の LLM を使った場合どうなるか？ これは時間がかかり、コストがかかるため「相転移」が確認される前に途中であきらめた。エージェントの学習として短期記憶 scratch_pad があるので学習自体は不可能ではないはずである。そして、LLM_API_PSEUDO_CORE か LLM_API_PSEUDO_CORE3 の構造を学習すれば「相転移」は起きうる。しかし、それが起きたとは今回は観測できなかった。

私は LLM を使わないでも成功したのが気に食わないのだが、Gemini さんにいわせると「マルチエージェントのタスクの理屈が創発を生んでいるので、うまくいってる証拠だ」とのことである。

Claude さん提案の実験については、LLM を偽装する関数 MockLLM を作ってまず提示してくれたのだが、それでも実験はうまくいった。そして RealLLM を使ってもうまくいった。しかし、この実験は結局 PD 制御になっているように思うので、結局、創発というよりはアルゴリズミックな制御におちていると考えられる。

まとめると、Gemini さんのものも Claude さんのものもいずれにしろ、公平に見れば、今回の実験、コンセプト実験としては「失敗だった」とするべきだろう。

今後の課題としては、もう少し難しい二足歩行の実験をして、本当に「歩行」で創発が起きうるのか見てみたいが…。

考えるに、ニューラルネットは実数的・アナログ的で、学習時に相転移または創発が起きていて、実行時にはそれがリプレイされるだけであると考えることができよう。対して、今回の私のコンセプトだと、学習は離散的・デジタル的・理論的に起きるしかなく、そのような理論から出されるタスク分配(警告分配)がノイズと絡んでパーコレーションネットワーク的に実行時に創発を起こすことが想定されたということだろう。実行時にアナログ的な部分の代替として、LLMの…または確率的な生成を期待できるから、そういうことが起きうるとした…ということになるのかもしれない。そして、そこまでは今回、実装に落としこめていないということだろう。