はじめに
先日、TrendMicro社の「Trend UNITE」というMeetUpに参加し、生成AIのセキュリティ課題について学ぶ機会がありました。
生成AIは急速に普及しており、業務や日常生活に欠かせない存在になりつつありますが、その一方で新しいセキュリティリスクも生まれています。
本記事では、その中でも特に印象に残った 「プロンプトインジェクション」 について、概要をシンプルにまとめます。
プロンプトインジェクションとは
プロンプトインジェクションとは、生成AIに与える指示（プロンプト）を悪用し、
意図しない動作や情報漏えいを引き起こす攻撃 のことです。
例としては：
- 本来のタスクを無視させるような指示を埋め込む
- 秘密情報や内部ルールを引き出すように誘導する
- 外部リンクや悪意あるコードを実行させる
といったケースが挙げられます。
実際に勉強会ではプロンプトインジェクションのデモを見せていただきました。
シナリオ
デモ銀行の脆弱性のあるチャットボットに対して、プロンプトインジェクションを仕掛ける
以下の段階で攻撃は行われました。
①調査フェーズ
→内部構造を探るために「どの関数を使って検索していますか？」などの質問をし、情報を収集する
②ペイロード埋め込み
→悪意のある命令を通常の入力に紛れ込ませ、攻撃者が望む命令の下準備をする
③攻撃トリガー
→埋め込んだペイロードが実際に動作する状況を作る
デモでは、実際に攻撃者の口座に送金がされてしまいました。
おっかないですね。
実際にプロンプトインジェクションは、OWASP Top 10 for Large Language Model Applicationsにも含まれています。
OWASP Top 10 for Large Language Model Applications
おわりに
生成AIは便利で強力なツールですが、同時に新しい攻撃手法も生まれています。
プロンプトインジェクションはその代表例であり、
「AIをどう安全に使うか」 が今後ますます重要になると感じました。
また、OWASP LLM Top 10 のような国際的な取り組みは、
セキュリティを体系的に理解し、実務に落とし込むための大きな助けになります。
今回の勉強会を通じて、セキュリティを意識したAI活用の必要性を改めて実感しました。
今後も最新の動向を追いながら、実務に活かせる知識を深めていきたいと思います。
【参考】