Claude さんに聞くと「短期記憶」の実装として、ありうるものとして…

jrf> Claude さんに聞くと「短期記憶」の実装として、ありうるものとして Prefix-tuning、アイデアレベルとして「動的埋め込み更新」と「軽量ファインチューニング」を挙げられた。

Prefix-tuning は、「トランプ大統領」と覚えるのではなく「2026年の最新情報」+「アメリカの大統領」みたいな形で抽象的に覚えておき、生成時にそれを「トランプ大統領」みたいにするというもの。 

動的埋め込み更新は、まったく新しい単語のみ、その部分のみ学習するという感じ。軽量ファインチューニングは、初期の ChatGPT はそういえばファインチューニングのサービスを提供してたが、あんな感じなのだろう。