ロボットの「操作」。基本的にこうなったらいいな…というのは、ビデオと言語による指…

jrf> ロボットの「操作」。基本的にこうなったらいいな…というのは、ビデオと言語による指示…例えば、ネジ回しなら、どういう回し方をするかというビデオとどこまでの強さで締めるかという数値(つまり言語)と、具体的なネジ(対象物)…という情報を渡せばイイ具合に締めてくれる…というもの。ビデオを動作に変換するのは、ビデオを直接理解できるモデルならスゴイし、ビデオ情報からモデルを検索したり、RLRMDiffusion ([cocolog:95459644](2025年5月))みたいな方向もあるのかもしれない。(この方向、以前(2025年7月ぐらいに) Gemini さんなどとは話してたんだけど、公開するメモにはまだ書いてなかったみたい。)

ただ、中国のロボット大会(第2回世界ヒューマノイドロボット競技大会)の障害物競争を見てると、障害物に狙いを定めたあとは、それを履行する能力はあるようだから、アラカルト方式+対象物指示が今の基本的な操作体系なのだろうと思う。一般的な「ネジ回し」のスキルがあって、それをアラカルト的に選び、どのネジに適用するかを色などで指定しておくと、ちゃんとやってくれるところまで行く。(ただし、「ネジ回し」のスキルが一般性をもって将来獲得されることを想定している。)…という感じなのだろう。

LLM との協調は今のところ、アラカルト方式+対象物指示になるのではないか。