OWASPが提示するAIリスクのTop 10を読み解く

AI関連の10のリスクを3カテゴリに分類

OWASP（オワスプ、Open Worldwide Application Security Project）は、20年以上にわたり活動を続けている、ソフトウェアセキュリティに関する教育と情報の提供を目的とした非営利団体です。OWASPが定期的に発行するドキュメント「OWASP Top 10」では、Webアプリケーション・セキュリティに関する最も重大な10のリスクについてのランキングと修正のガイダンスを提供しています。2023年には、AI特有のリスクという新たなセクションが追加され、同年10月に「OWASP Top 10 for LLM Applications Version 1.1」がリリースされました。

（LLMはLarge Language Models（大規模言語モデル）の略で、生成AIの一種です。生成AIは、テキスト、画像、音声などのデータを自律的に生成できるAI技術の総称ですが、LLMは自然言語処理に特化したモデルであり、膨大なテキストデータから学習することで、より高度な言語理解を実現したものです。本稿では、LLMとAI・生成AIが同義的に用いられる箇所があります。）

OWASP Top 10 for LLM Applications Version 1.1

今や新たなLLMが続々登場し、個人でも法人組織でも活用が進んでいます。そのような状況下で、LLMの出力を常にチェックする必要性などは広く知られていますが、その他のリスクにはまだ認識されていないものもあると思われます。
トレンドマイクロでは、OWASPが特定した10のリスクを、次のように3つのカテゴリに分類しました。本稿では、それぞれのリスクを検討のうえ対処方法を提案します。

1.権限の悪用や不正行為に関連するアクセスリスク
2.データ操作やサービス停止などのデータリスク
3.AIの不適切な出力や挙動による評判とビジネスのリスク

OWASP大規模言語モデル・アプリケーションリスクトップ10 （出典：LLM AI サイバーセキュリティとガバナンスのチェックリスト）	トレンドマイクロの分類
LLM01:プロンプト・インジェクション	2
巧妙な入力によって大規模な言語モデル（LLM）を操作し、LLMが意図しない動作を引き起こします。システムのプロンプトを直接、上書きする手法、外部ソースからの入力を操作し、間接的に行う手法があります。	2
LLM02:安全が確認されていない出力ハンドリング	1
LLMの出力を細かくチェックせずにバックエンドシステムに送った場合、バックエンドの脆弱性をつかれ、意図しない結果を引き起こすことです。悪用されると、XSS、CSRF、SSRF、特権の昇格、リモート・コードの実行といった深刻な結果につながる可能性があります。	1
LLM03:訓練データの汚染	2
LLMの訓練データが改ざんされ、セキュリティ、有効性、倫理的行動を損なう脆弱性やバイアスなどが入り込むことです。訓練データの情報源として、Common Crawl、WebText、OpenWebText、書籍などが使われます。	2
LLM04:モデルのDoS	2
LLMが計算リソースを大量に消費するようにしむけ、LLMを使ったサービスの品質低下や高コストを狙ったものです。	2
LLM05:サプライチェーンの脆弱性	2
LLMアプリケーションが使用するコンポーネントやサービスの脆弱性によって引き起こされる攻撃です。サードパーティのデータセット、事前に訓練されたモデル、およびプラグインを使用することで、脆弱性が増す可能性があります。	2
LLM06:機微情報の漏えい	2
LLMは、その応答の中に意図せず機密データを含めてしまう可能性があり、不正なデータアクセス、プライバシー侵害、セキュリティ侵害につながります。これを軽減するためには、データの浄化と厳格なユーザー・ポリシーを導入することが極めて重要です。	2
LLM07:安全が確認されていないプラグイン設計	1
LLMプラグインにおいて、入力の安全性が確認されておらず、あるいはアクセスコントロールが不十分な場合、悪意のあるリモート・コード実行のような結果をもたらす可能性があります。	1
LLM08:過剰な代理行為	1
この問題は、LLMベースのシステムに与えられた過剰な機能、権限、または自律性に起因し、意図しない結果を招くことがあります。	1
LLM09:過度の信頼	3
十分監督されていないLLMに過度に依存したシステムやユーザーは、LLMが生成したコンテンツが不正確または不適切なものであることに気づかず、誤った情報、誤ったコミュニケーション、法的問題、セキュリティの脆弱性に直面する可能性があります。	3
LLM10:モデルの盗難	3
独自のLLMモデルへの不正アクセス、モデルのコピー、または流出が含まれます。その影響は、経済的損失、競争上の優位性の低下、機密情報へのアクセスの可能性などです。	3

アクセスリスク

・LLM02:安全が確認されていない出力ハンドリング
・LLM07:安全が確認されていないプラグイン設計
・LLM08:過剰な代理行為

OWASPによると、安全が確認されていないプラグインを使用するLLMはアクセスコントロールを失いかねず、不正なリクエストや権限のないリモート・コードの実行に対して脆弱になる可能性があります。一方、LLMの出力を評価せずに処理するプラグインやアプリケーションは、XSS、CSRF、SSRF^※などの攻撃に対して脆弱になり、不要な動作の実行、権限昇格、リモート・コード実行のリスクにさらされる可能性があります。
※サーバサイド・リクエスト・フォージェリ（Server-Side Request Forgery）。攻撃者から直接到達できないサーバに対する攻撃手法の一種。攻撃者は公開サーバから、外部には公開していない内部サーバに何らかの方法でリクエストを送信し、内部サーバに処理を実行させます。

AIは決定を下し実行する「行為者」であるため、どれだけの裁量（つまり機能）を与えるかが重要です。OWASPの説明によれば、過剰な機能を付与すると、LLMの予期しない出力やあいまいな出力を受けて有害な挙動をしてしまう、という脆弱性につながります。そのLLMの誤作動の原因が、ハルシネーション・作話、直接的・間接的なプロンプト・インジェクション、不正プラグイン、設計が不十分な無害なプロンプト、または単に性能の低いモデルであるかどうかには関係はないとのことです。

例えば、メッセージ送信機能を持つ個人用メールリーダーアシスタントが、悪意のあるメールによってユーザのアカウントからスパムを拡散するために悪用される可能性があります。

これらすべてのケースで、LLMは攻撃者がシステムに侵入するための経路となり得ます。

データリスク

・LLM01:プロンプト・インジェクション
・LLM03:訓練データの汚染
・LLM04:モデルのDoS
・LLM05:サプライチェーンの脆弱性
・LLM06:機微情報の漏えい

データは攻撃者によって意図的に汚染されたり、信頼できないソースや未検証のソースをAIが学習する際に意図せず汚染されたりする可能性があります。意図的であれ非意図的であれ、このような汚染は、AIチャットボットアプリケーション内で発生する場合もあれば、LLMサプライチェーン^※から生じる場合もあります。LLMサプライチェーンでは、事前学習済みモデルやクラウドソーシングデータ、安全でないプラグイン拡張機能への依存が、偏ったデータ出力、セキュリティ侵害、システム障害を引き起こす可能性があります。
※LLMにおけるサプライチェーンとは、モデルの開発・トレーニング・デプロイメントに使用されるすべてのソフトウェア、データ、およびインフラストラクチャを含む一連のプロセスとリソースを指します。

汚染されたデータとサプライチェーンはインプットに関する懸念事項です。モデルの学習データに、個人情報、機密情報、個人を特定できる情報などを含めると、機密情報の意図しない漏洩につながる可能性もあります。

プロンプト・インジェクションとは、意図的に誤作動を起こさせるような指令入力を生成AIに与え、提供側が出力を禁止している情報などを引き出す攻撃です。これにより、攻撃者はシステムの制御を奪ったり、機密情報を盗んだり、不正な操作を行ったりすることができます。

参考記事：生成AIでランサムウェアを作成した容疑者の摘発事例を考察

AIを対象としたサービス拒否（DoS）攻撃は、従来のDoS攻撃と似ています。ユーザがデータやアプリにアクセスできないようにすることを目的とします。また、多くのAIサービスが従量課金制のITインフラに依存しているため、システムに過度のリソースを消費させて莫大なコストを発生させる可能性もあります。

評判やビジネスのリスク

・LLM09:過度の信頼
・LLM10:モデルの盗難

モデルの盗難は、組織が独自のLLMモデルを持っている場合に当てはまります。そのモデルが権限のないユーザによってアクセス、コピー、または抽出された場合、ビジネスのパフォーマンスが損なわれたり、競争上不利な立場に置かれたり、機密情報の漏洩が引き起こされたりする可能性があります。

AIへの過度の信頼によって引き起こされた事例については、思い当たる方も多いでしょう。実在しない判例の引用や、人種差別的・性差別的な出力内容など、AIによる誤った、あるいは不適切な出力の事例には事欠きません。
OWASPは、適切な監視なしにAIチャットボットに依存することで、組織が誤情報や攻撃的なコンテンツを公開してしまい、評判の低下や法的措置につながる可能性があると指摘しています。

組織が取れる対策

これらの様々なリスクに対し、私たちができることは何でしょうか？組織が取ることのできる対策を次に紹介します。

AIのアクセスリスクから防御するには、システムの厳格な分離（サンドボックス化）を伴うゼロトラストセキュリティの対策が必要です。もっとも、生成AIは信頼されたエンティティを模倣できるため、他のITシステムとは異なる方法でゼロトラスト防御を突破しようとする可能性はあります。それでも、ゼロトラストはチェック機能を提供し、望ましくない活動を特定し封じ込めやすくすることが期待されます。OWASPもまた、LLMは「自己監視すべきではない」と助言し、APIに制御を組み込むよう呼びかけています。

サンドボックス化は、データプライバシー（自己に関する情報をいつ、どのように、どの程度他人と共有するか、あるいは他人に伝達するかを自分で決定する権利）とデータインテグリティ（データ完全性。データが正確・完全で、一貫性があるため、誰もが信頼することができるという状態を維持すること）を保護する上でも重要です。というのも、機密情報を共有可能なデータから完全に分離し、AIチャットボットや他の公開システムからアクセスできないようにするからです。
データの分離により、LLMが公開出力に機密情報などを含めるのを防ぐことが期待できます。また、例えば支払いシステムなどと不適切にやり取りするよう促すプロンプトを受けることも防止できると考えられます。

参考記事：生成AIのビジネス活用と考慮すべきリスク

評判やビジネスのリスクに対しては、AIが生成したコンテンツやコードのみに頼らないこと、そしてAIの出力が正確かつ信頼できるかどうかを確認せずに公開または使用しないことです。

これらの防御策の多くは、組織のポリシーへの組み込みが可能であり、それを検討すべきでしょう。適切なポリシー基盤が整えば、EDR（Endpoint Detection and Response）、XDR（Extended Detection and Response）、SIEM（Security Information and Event Management）などのセキュリティ技術を使用してポリシーを実施し、潜在的に有害な活動を監視することができます。

AIは無くならない

OWASPが提示した10のリスクを見ると、AIの拙速な導入に対して懸念を抱くのは無理もないでしょう。一方で、もはや今後AIを利用しないという選択肢はないのは明らかです。そのため、AIのリスクを理解し、それを軽減するために責任ある対策を取ることが非常に重要です。

AIの使用を管理するためには、適切なポリシーを設定し、それをサイバーセキュリティソリューションの助けを借りて実施するのは適切な第一歩と言えるでしょう。また、常に最新の情報を入手することも重要です。「OWASP Top 10 for LLM Applications」を更新ごとに入手し、AI活用における基本方針としてたびたび立ち返るのもよいかもしれません。

本記事は2024年7月8日にUSで公開された記事「The Top 10 AI Security Risks Every Business Should Know」の抄訳です。

参考記事：
・生成AIでランサムウェアを作成した容疑者の摘発事例を考察
・生成AIのビジネス活用と考慮すべきリスク
・セキュリティ運用におけるAI活用のポイント
・2024 Risk to Resilience World Tour Japan基調講演　開催レポート