Anthropic、Claudeにプロンプトキャッシュ機能を導入

Anthropicは、同社のAI言語モデルClaudeのAPIに新機能「プロンプトキャッシュ」を導入しました。この機能により、開発者はAI利用のコストを最大90%削減し、レスポンス速度を最大85%向上させることができます。

Anthropicのプロンプトキャッシュとは

プロンプトキャッシュは、AIモデルに送信する長文の指示や背景情報を一時的に保存し、再利用する機能です。これにより、同じ内容を繰り返し送信する必要がなくなり、APIコールのコストと時間を大幅に削減できます。

Anthropicの共同創業者であるダリオ・アモデイ氏は次のように述べています。

プロンプトキャッシュは、Claudeに大きな付箋を渡すようなものです。プロンプトの共通部分をしばらく保存しておくので、コストを何度も費やす必要がありません。

プロンプトキャッシュを導入するメリット

主な利点は、以下の通りです。(画像参照)

• コスト削減: API入力コストを最大90%削減
• 速度向上: レイテンシを最大85%削減
• 柔軟性: より詳細な指示や多くの例をAIに提供可能

プロンプトキャッシュの活用例

プロンプトキャッシュは以下のような用途で特に効果を発揮します。

プロンプトキャッシュの価格設定

キャッシュされたプロンプトの料金は、キャッシュする入力トークンの数とそのコンテンツの使用頻度に基づいて決まります。

キャッシュへの書き込みには、特定のモデルの基本入力トークン料金より25%高い料金がかかりますが、キャッシュされたコンテンツを使用すると大幅に安くなり、基本入力トークン料金の10%しかかかりません。

下記表も参考にしてください。

業界の反応

生産性向上ツールを提供するNotionは、すでにプロンプトキャッシュ機能をAIアシスタント「Notion AI」に組み込んでいます。

Notion共同創業者のサイモン・ラスト氏は次のようにコメントしています。

最先端の品質を維持しながら、プロンプトキャッシュを使用してNotion AIをより高速かつ安価にできることを嬉しく思います。

サイモン・ラスト

今後の展望

AIモデルの進化に伴い、より詳細なコンテキストや指示が必要になる傾向があります。プロンプトキャッシュのような機能は、AIの利用コストを抑えつつ、より高度なタスクを実行するための重要なツールとなりそうです。

Anthropicは今後も機能の改善を続け、より多くのユースケースに対応していく方針です。開発者やAI研究者たちは、この新機能がAIアプリケーションの開発にどのような影響を与えるか、注目しています。