以前、AI の逆蒸留を考えた。 ＞ \○…

jrf> 以前、AI の逆蒸留を考えた。

＞
\○ 2025-02-14T18:16:36Z

AI の蒸留の逆はできないものだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。ただ、大きなモデルの学習の際に、小さなモデルで「理論化」できてない「象」が、大きなモデルで「理論化」されて、大きなモデルが他のデータなく、優秀になる… ASI みたいなことが起きないだろうか？
＜

ずっと以前、人間の脳の容量は 4G ぐらいだという説があったように思う。LLM はそれより巨大過ぎる。逆蒸留を逆にたどって圧縮していったとき、遺伝子的な静的なものに辿り着くとすれば、それが 4G ぐらいなのかもしれない。ただ、そのとき、必要な最小記憶・経験みたいなものも必要で、それも合わせて 4G なのだと思う。

以前、Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。Attention がすでに微分として出てきているとすれば、逆蒸留も概念としてはすでに出てきているのかもしれない。もしかして、拡散モデルというのは、逆蒸留の一変形ではないか？