AI の蒸留の逆はできないものだろうか?…
jrf> AI の蒸留の逆はできないものだろうか? 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。ただ、大きなモデルの学習の際に、小さなモデルで「理論化」できてない「象」が、大きなモデルで「理論化」されて、大きなモデルが他のデータなく、優秀になる… ASI みたいなことが起きないだろうか?