LLMを使ったロボット制御では、下部メカを制御するスパース行列を渡すために、画像…

jrf> LLMを使ったロボット制御では、下部メカを制御するスパース行列を渡すために、画像生成AIのような拡散モデルみたいなのを使って、「どう学習すればいいかのプログラム」をプロンプトとしてスパース行列的なものを生成して渡す感じになるのだろうか…。

ロボットの制御を LLM で行う場合。細部のメカにコマンドを送りその出力・異常出力をいくつかためて、LLM で処理し指示を出すということになるのだろう。細部のメカも LLM 的になるのだが、反射神経的な動きは、上部の LLM にいつも指示をもらうというのではなく、反射神経的な動きの学習済みデータを上部 LLM からもらう形か。このときスパース行列のようなものを渡さねばならないとなると上部 LLM は学習が大変なので、そうではなく、下部 LLM がどう学習すればいいかのプログラムを渡すことになるのかもしれない。ただし、その指示に従って学習するのは時間がかかり過ぎるので、画像生成 AI のような拡散モデルみたいなのを使って、「どう学習すればいいかのプログラム」からスパース行列的なものを生成する感じになるのだろう。