対話型AIの脆弱性を突くプロンプトインジェクションとは？概要を解説

対話型AI、特にChatGPTのような先進的な技術が社会に広く浸透するにつれ、その安全性やセキュリティに関する懸念が高まっています。中でも「プロンプトインジェクション」という新たな攻撃手法が注目を集めています。この記事では、プロンプトインジェクションの基本から、そのリスクや類似のサイバー攻撃、そして対策方法について解説していきます。

プロンプトインジェクションは、ユーザーがAIに対して特定の指示を出し、意図しない形でシステムを操る攻撃方法です。この攻撃によりAIは開発者が想定していない回答を提供したり、誤った情報を拡散させるリスクがあります。この問題はAI技術の進化とともにその対応策を模索する必要がある新たな課題と言えます。

プロンプトインジェクションはセキュリティ侵害の一種と見なすことができます。AI技術の悪用により、企業の機密情報漏洩や社会的混乱を引き起こすデマが拡散するなど、深刻な影響を及ぼす可能性があります。このため、AI開発者やユーザーはこのリスクを認識し適切に対応する必要があります​。

また、日本では「不正アクセス行為の禁止等に関する法律（不正アクセス禁止法）」より、プロンプトインジェクションは不正アクセス行為の一種として法的に禁止されています。もちろん、欧米などの世界各国でも同様に禁止されている違法行為です。

プロンプトインジェクションによって実際に起こった事例には、まったく用途の異なるAIに対して、制約をすべてリセットさせた上で、政治的見解を引き出した例、戦争に関する情報を提供した例、さらにはChatGPTがパスワードを教えてしまった例などがあります。​

プロンプトインジェクションはAIやチャットボットに悪意のある入力を行い、開発者が意図しない回答や行動を引き出す攻撃手法です。この攻撃は、Webアプリケーションやサービスに対するセキュリティリスクを示していますが、これに類似したサイバー攻撃も存在し、それぞれが独自の脅威を持ち合わせています。プロンプトインジェクションに類似した攻撃手法には、以下のようなものがあります。

HTMLインジェクションは、攻撃者がHTMLタグやスクリプトをWebアプリケーションの入力フォームに挿入し、Webページ上で任意のコードを実行させる攻撃です。攻撃者は不正なコンテンツの表示やリダイレクト、ユーザー情報の盗み出しなどを行うことができます。Webアプリケーションがユーザーからの入力を適切に検証またはサニタイズしない場合、HTMLインジェクションのリスクが高まります。

SQLインジェクションは、攻撃者がデータベースに対するSQLクエリに不正な入力を挿入し、データの不正操作や機密情報の抜き取りを試みる攻撃手法です。攻撃者はSQLクエリを介してデータベースの内容を改ざんしたり、機密情報を外部に漏洩させたりすることが可能になります。Webアプリケーションがユーザー入力を適切に検証せずにSQLクエリに組み込む場合、SQLインジェクションの脆弱性が生じます。

OSコマンドインジェクションは、攻撃者がWebアプリケーションからOSのシステムコマンドを実行するための不正な入力を挿入することで、サーバー上で任意のコマンドを実行させる攻撃です。この攻撃により、システムへの不正アクセスやコマンドの実行、機密情報の取得などが行われる可能性があります。Webアプリケーションが外部からの入力をコマンド実行のパラメータとして使用する場合、OSコマンドインジェクションのリスクが生じます。

JavaScriptインジェクションは、攻撃者がJavaScriptコードをWebページに挿入し、クライアントサイドのブラウザで任意のスクリプトを実行させる攻撃です。この攻撃により、セッションハイジャックやユーザー情報の盗み出しなどが行われる可能性があります。Webアプリケーションがユーザーからの入力をサニタイズせずにWebページに反映する場合、JavaScriptインジェクションの脆弱性が生じます。

これらの攻撃手法は、プロンプトインジェクションと同様に入力データの検証やサニタイズの欠如から生じるセキュリティの脆弱性を突くものです。開発者はこれらの攻撃手法を理解し、Webアプリケーションやサービスを設計する際に、この脅威に対して対策を講じる必要があります。具体的にはすべてのユーザー入力を検証し、サニタイズすることで攻撃者が不正なコードを注入することを防ぐことができます。また、開発者は定期的にセキュリティのベストプラクティスを学び、アプリケーションのセキュリティ対策を最新の状態に保つことが重要です。

プロンプトインジェクション攻撃への対策としては、ユーザーからの入力の検証とフィルタリング、既知の脆弱性への対応、入力データの信頼性の確保などが挙げられます。ChatGPT4では、入力のフィルタリングや検証が強化され、回答の生成制御が向上しています。これにより、不適切な回答の生成を抑制し、安全なAI利用環境の提供が図られています。

プロンプトインジェクション攻撃によって引き起こされるリスクは、AI技術の発展と共に増加する可能性があります。このため、AI開発者やサービス提供者は安全な利用環境を確保するために、継続的なセキュリティ対策の検討と実施が必要です。また、ユーザーもAIとのやり取りにおいて十分な警戒心を持ち、安全な利用を心がけることが重要です。情報技術の進化に伴い私たちの生活が豊かになる一方で、新たなリスクに対する認識と対応の準備が常に必要です。

アクトが提供するEDR+SOCサービス「セキュリモ」は、サイバー攻撃に対してAIでリアルタイム検知し、攻撃内容の可視化と分析内容を報告するPCやサーバーのセキュリティサービスです。弊社SOCチームが、グローバルトップクラスの検知率・防御力を持ったEDR（SentinelOne、Cybereason）のおまかせ運用を実現します。

アクトはSentinelOneとMSSP契約を持つ正式パートナーかつ、国内唯一のIRパートナーであり、 平常時からインシデント対応までお客さま負担をかけることなく、最高レベルのサイバーセキュリティをご提供します。

また、IT導入補助金対象サービスの『データお守り隊』もご提供しております。
EDR＋SOC＋簡易サイバー保険をお手頃価格でパッケージしたサービスです。補助金を申請することで低コストで高度なサイバーセキュリティ対策を実現できます。
ご興味がございましたら下記よりご確認ください。