LoRA…

jrf> LoRA というとどこかの層に挟む…という話だったけどが、そうではなく、何か非常に意味があって変化する多様体(ニューラルネット的基盤モデル?)を含むように LLM を構成し、その多様体の変化に応じるように LLM を学習しておく…という方向はないのか？ 生きている遺伝子から表現型を得るみたいなイメージ。…Gemini さんや ChatGPT さんによると「非常に先進的な考え」…ということは現状ではほぼ見込みがないということだろう orz。