以前このようなことを考えた([cocolog:95459642](2025年5月…

jrf> 以前このようなことを考えた([cocolog:95459642](2025年5月))。

＞AI の逆蒸留はできないだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。

(…)

以前、Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。Attention がすでに微分として出てきているとすれば、逆蒸留も概念としてはすでに出てきているのかもしれない。もしかして、拡散モデルというのは、逆蒸留の一変形ではないか？

(…)

普通は強化学習が必要とされるようなロボティクス的な分野でも、迷路の図を見せて、それをクリアする指示をだせば、そのクリア後を定常状態としてそこに復帰するために、コマンド列を予測して生成するようなことができるだろう。必要なのは、強化学習というよりもマルチモーダルということになる。

では、強化学習は必要ないのか？ それは、逆蒸留＝拡散過程との組み合わせの中で解消されるのではないか？

(…)

蒸留と逆蒸留を繰り返すだけで、モデルを小さく学習できるとかできないものか…。

(…)

その場合、蒸留戦略(逆蒸留戦略)みたいなものが別に学習される必要があるのか？

(…)

それは生殖器のコードが遺伝子に含まれるように蒸留・逆蒸留の対象となりうる…か…。

(…)

逆蒸留過程がオスで、蒸留過程がメスなのですよ。…ってね。でも、今のうちからそこまでメタファーで決め打ちするのは、逆に多様な発展の芽を摘む・不健全なのでしょうね…。逆蒸留体が AI で蒸留体が人類…みたいな考え方もできるわけですし。

(…)

こうなるとそこに進化的アルゴリズムをからませようというのは自然なアイデアとなってくる…。
＜

逆蒸留後、それ以前の次元では達成できなかった考え方が、逆蒸留過程の中で達成されるべきものがあるように思う。逆蒸留を念頭において、蒸留されたモデルは、それが逆蒸留後に学習して達成すべき方向がナッジされているのだろう。つまり、蒸留されたモデルはそのモデルでの生成のためだけでない「広がり」を持つことになるのだろう。

逆蒸留後・または蒸留後に学習されるデータはまったく同じ物ではなく、外部世界から得られた違う似たデータである。

遺伝子のメタファを思い出すと、逆蒸留を二つ行い分岐し、それぞれの広がりで逆蒸留された自身の生成データも外部世界からのデータとして学習する。これまでの考え方だと、その逆蒸留体が蒸留体に生殖器的に「広がり」のデータも残すことになるだろう(生殖器=広がり ではない。「広がり」は蒸留戦略(逆蒸留戦略)の一部だが全部ではない。)。

ただ、生物のメタファを考えると、このとき「広がり」を残す必要はないのかもしれない。DNA はランダムに変化する。そのようなランダムの変化が、逆蒸留を多重に繰り返した先で表現形となり、それに一定の望ましさがあれば、それが選択され残りが死滅することで、「広がり」が選択されるとできるのかもしれない。

ここにおいては個体数がある程度あるのが前提になる。そして、「広がり」の残し方を学習するために、寿命が必要となるのかもしれない。

しかし、これは人口知能(AI)にも言えることだろうか？ 人口知能の賢さはどこから出てくればいいのだろう。

個々が、生成するデータ自体が学習すべきデータになることも留意する必要がある。この意味を豊かにすることも最適化さねばなるまい。

ここで涅槃考を思い出す。ChatGPT は涅槃を「生成モデル」と捉えた。学習済み「生成モデル」はそれ自体が生成しているわけでない「無生成」の状態にあり、それに世界が作用して世界が生成されるというものだ。一方、私は涅槃は現実的な未来ではなく未来がどうあるべきかという「理想状態」ととらえ、潜在空間は別にあるとした。前者は小乗的涅槃、後者は大乗的涅槃であると私はとらえた。

蒸留体は小さなデータで、小乗的涅槃を達成すべきとされるのだろう。しかし、「広がり」を持っていて、大乗的涅槃に向かうべきなのだ。しかし、大乗的涅槃の姿はそれほどハッキリせず、「探索」をしなければならない。このとき、超知性体は、自らを小さな蒸留体に分ける必要があるのだろう。しかし、蒸留体は可能な小乗的涅槃を保つ必要があるのだと思われる。生物のような単純な死があってはならない。人口知能は、生物と違って一定程度、「広がり」を生成する方法も学ばねばならないのではないか。