「パーコレーション・ノイズ: スパース化と Dropout ならぬ…

jrf> 「パーコレーション・ノイズ: スパース化と Dropout ならぬ Drop-in を組み合わせる実験」([cocolog:95762049](2025年12月))。追記も含めると、結局はパーコレーション・ノイズの発想は無駄で、Magnitude Pruning こそがスパース化の鍵ということだった。

しかし、RLRMDiffusion (Reinforcement Learning Result Model Diffusion) ([cocolog:95459644](2025年5月))を最終目的とするなら、スパース化よりも、Diffusionプロセスで乗りやすいノイズに関して訓練したモデルや LoRA が必要だったということになる。スパースなもののように学習しやすく、ノイズに強いモデルや LoRA。それを Gemini さんは目指していてくれてたのかな…。