(承前)…

jrf> (承前)

TinyLoRA。遺伝的アルゴリズム(GA)では、次第に多様性がなくなるため、最もフィットするものが残ってない場合が出てくる(似たものばかりで探索空間が小さくなる)という分析になった。ChatGPT さんは、結局は、MoE (Mixture of Experts)のほうがいいという。

MoE にすると、パラメータは多少増えるが、劇的な改善があるようだ。LoRA そのものよりは、増えるパラメータ数はかなり少ないため、有効な方法である。…とのこと。