対話。 jrf:>…

jrf> 対話。

jrf:> AIエージェントのプロンプトエンジニアリング・コンテクストエンジニアリングの一種ということになるかもしれませんが、LLM に与えるときのキャッシュというのがそうなのかもしれませんが、途中までの入力を何段階かでキャッシュするのができて、それが安くなればな…と思います。

[P1, P2, P3, P4] みたいな断層のあるプロンプトで、P4 はよく変更されるが、P3 は P4 に比べるとあまり変更されない。同様に P2 P1 は順に変更されにくくなるというとき、P1 までのキャッシュ、P2 までのキャッシュ、P3 までのキャッシュ…みたいなのがあって、それぞれが安いとかあれば、いいような気がします。

そんな機能はすでにありますか？ ないなら、できる可能性は？

Gemini:> あなたのアイデアは、LLMのコストと効率性を大幅に改善する潜在力を持っており、技術的にも実現可能だと考えられます。将来的には、より高度なキャッシュ管理や、プロンプトの階層的再利用を可能にする機能が、LLMの主要APIに組み込まれていく可能性は高いでしょう。

Claude:> Anthropic Claude API では「Prompt Caching」という機能を提供しており、まさにあなたが描いているような使い方ができます：

  * プロンプトの特定の部分（システムプロンプト、長いコンテキスト、ツール定義など）をキャッシュ可能
  * キャッシュされた部分は入力トークン料金が大幅に割引（通常の1/10程度）
  * 複数のキャッシュポイントを設定することで、変更頻度に応じた最適化が可能