(承前) 先に、「ChatGPT…

jrf> (承前)

先に、「ChatGPT さんに実験してもらったところ、TinyLoRA と進化的アルゴリズム（遺伝的アルゴリズム）の組み合わせが有効そうだ、という結果が得られた。」と書いたが、これは間違っていた。

グラフを良く見たところ、進化的アルゴリズムを使ったものは確かにそうでないものより loss が低いのだが、世代を経るごとにむしろ loss は高くなっていっている。これは、単純に、ランダム行列の数を多く試しているので、loss が低いものがその中にあっただけで、進化はむしろマイナスにしか機能していないことを示唆している。

残念だ。ランダム固定行列がなぜこんなにいいのか、私には再び謎になった。SVD が探索空間をせばめている。それにしても…という謎。

https://x.com/jion_rockford/status/2031693526107582686