LLM…

jrf> LLM を自動運転に応用することを考えます。すると、現在のスピードやビジョンなどの環境などを文字列化またはマルチーモーダルで入力して、それに LLM が答えて指令を生成する…となるのだと思います。ただ、そこで使われるのは LLM の「常識」になるわけです。そうではなく、この LLM にその装置の特性などを「学習」させるにはどうすればいいのでしょう？ GPTs や Gem のような「プレプロンプト」への条件の追加などを行うのでしょうか？ しかし、その条件をどう生成(?)すればいいのでしょう？ 「プレプロンプト」ではなく Gemini などが最近備えている、短期記憶なようなものも使えるかもしれませんね。ファインチューニングは以前は有力視されていましたが、基盤モデルが固定される最近はあまり聞きませんね。いかがでしょう？

このように AI さん達に聞くと、私が挙げたほかに RAG も重要だとそろって指摘された。その状況または車種などから(学習済みの)外部のデータを参照するということだろう。

あと、Gemini さんに Deep Research してもらったレポートによると知識グラフ(KG)が重要ということだった。知識グラフがおそらく「プレプロンプト」として使われ、それが「プレプロンプト」の学習的生成手法として、注目されているということだろう。