RL Result Model Diffusion で LoRA…
jrf> RL Result Model Diffusion で LoRA を生成するというのを考えたように、ここでは注意パターンを生成したいとなるのかもしれない。ただ、それが生物のような小さいモデルでもやりたいと考えると、小さい注意パターンを生成して、それを自分自身に拡大するみたいなイメージになるのかな? そういう拡大した粗い注意パターンでも探索空間が巨大なところだと効果がある…とか。そういうイメージを持つ…。
jrf> RL Result Model Diffusion で LoRA を生成するというのを考えたように、ここでは注意パターンを生成したいとなるのかもしれない。ただ、それが生物のような小さいモデルでもやりたいと考えると、小さい注意パターンを生成して、それを自分自身に拡大するみたいなイメージになるのかな? そういう拡大した粗い注意パターンでも探索空間が巨大なところだと効果がある…とか。そういうイメージを持つ…。