(承前) 以前 [cocolog:95231673](2025年1月)…

jrf> (承前)

以前 [cocolog:95231673](2025年1月) で書いたこと…

＞＞
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。

最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。

そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか？

GPT も次のトークンがないというのを定常状態からの欠落と見て、そこからどう反作用すれば「定常状態」に戻るか…という最適化過程なのではないか。ただ、この場合、文章を書き続けるためには、定常状態が常時変わっているか、定常状態から少しズレたところに着地し続ける…みたいなことが必要になるのかもしれないが。

これを Gemini さんにぶつけると…。

Gemini:＞ GPTの学習過程は、生物の進化と類似点があります。

  * 変異と選択: GPTのパラメータの調整は、生物の遺伝子の変異に相当し、生成された文章に対する評価は、自然選択に相当します。
  * 適応: GPTは、与えられたデータに適応するように、パラメータを調整していきます。これは、生物が環境に適応していく過程に似ています。

＜
＜＜

これを敷衍すれば、普通は強化学習が必要とされるようなロボティクス的な分野でも、迷路の図を見せて、それをクリアする指示をだせば、そのクリア後を定常状態としてそこに復帰するために、コマンド列を予測して生成するようなことができるだろう。必要なのは、強化学習というよりもマルチモーダルということになる。

では、強化学習は必要ないのか？ それは、逆蒸留＝拡散過程との組み合わせの中で解消されるのではないか？