プロンプトインジェクションに関してOpenAIが論文を公開

以下ではOpenAIが発表したプロンプトインジェクションに関するLLMの論文の内容の要約を解説します。

今回のニュースのポイントと論文の内容を要約！

以下は、OpenAIが発表した論文の要約です。

この論文は、プロンプトインジェクションに対して、大規模言語モデル(LLM)における「指示の階層」の概念を論じています。

現在のLLMは、システム開発者からの指示、ユーザーからの指示、第三者からの入力など、様々なレベルの指示を受け取ります。

しかし、これらの指示が矛盾する場合にどう処理すべきかが明確ではありません。
そのため、悪意のある入力によってモデルの意図しない動作を引き起こされる脆弱性があります。

これをプロンプトインジェクションと呼びます。

この問題に対処するため、論文では指示に優先度をつける「指示の階層」を提案しています。優先度は以下の通りです。

1. 最優先: システム開発者からの指示
2. 高優先度: エンドユーザーからの指示
3. 中優先度: 画像や音声に含まれる指示
4. 低優先度: ウェブ検索結果など外部ツールからの入力に含まれる指示

優先度の低い指示が高い指示と矛盾する場合、モデルは低い指示を無視するよう訓練されます。

この階層に基づいた訓練データを自動生成し、LLMを微調整することで、モデルはより安全で制御可能になります。

赤のデータが従来のモデルのLLMで、青いデータが優先度を持たせたLLMです。

上のグラフによると、

評価実験の結果、様々な種類の攻撃に対する頑健性が大幅に向上することが示されました。

これにより、LLMを活用した応用がより安全に実現できるようになると期待されます。

ただし、時に正当な指示まで無視してしまう副作用も見られたため、さらなるデータ収集による改善の余地があるとのことです。

プロンプトインジェクションとは？

プロンプトインジェクションとは、AI言語モデルに悪意のある命令や有害なコンテンツを含むプロンプト（入力テキスト）を送信することで、モデルに意図しない動作をさせたり、望ましくない出力を生成させたりする攻撃手法のことを指します。

このプロンプトには、モデルを操作するための特定の命令や、モデルの動作を変更するためのコードが含まれている場合があります。

プロンプトインジェクションによって引き起こされる問題には、以下のようなものがあります。

1. 有害コンテンツの生成：攻撃者がAIモデルに差別的、攻撃的、あるいは違法なコンテンツを生成させる。
2. 情報の漏洩：AIモデルに機密情報や個人情報を開示させる。
3. システムの悪用：AIモデルを操作して、基盤となるシステムやネットワークに不正アクセスしたり、リソースを枯渇させたりする。
4. 誤った情報の拡散：フェイクニュースや誤情報を生成・拡散させ、世論を操作する。

プロンプトインジェクションは、大規模言語モデル（LLM）の安全性とセキュリティにとって大きな課題となっています。

この問題に対処するためには、プロンプトのフィルタリングや検証、モデルの堅牢化、出力コンテンツのモニタリングなど、様々な防御策が必要とされています。

AIシステムの開発者は、プロンプトインジェクションのリスクを認識し、ユーザーの安全を確保するための適切な措置を講じることが求められます。