2024年に生成AIがサイバーセキュリティにもたらす影響

生成AIの台頭と悪用の始まり

ChatGPTの台頭から約1年が経過し、サイバー犯罪の手段に生成AIが利用されていることが、より一層明らかになっています。本稿では、2024年に生成AIがサイバーセキュリティにもたらす影響について解説します。

生成AIは2023年の幕開けからトップニュースとして脚光を浴び続け、年末にはすでに生産性を高める重要なツールとして確固たる地位を築いていました。その恩恵は、企業やクリエイター、科学者、学生など様々な職種の人々に与えられました。

しかし同時にその恩恵は、サイバー犯罪者にも与えられてしまったという側面があります。

サイバー犯罪グループは、わずかな労力で多くの利益を得る手段を常に模索しています。そうした要求に応えるツールとして、生成AIが浮上しました。その処理速度や拡張性は、大規模データから有用な情報を効率的に発見しようとするサイバー犯罪者にとってまさに都合の良いものであり、詐欺やソーシャルエンジニアリングの手口の進化に繋がってしまいました。また、AI機能を搭載したアプリは、意図的な誤用や乗っ取り行為に脆弱であることも示されました。さらに犯罪グループの間では、監視の難しい独自の大規模言語モデル（LLM：Large Language Model）を自ら構築しようとする動きさえ見られました。

このようにAIを用いた脅威は現在も進化を続けています。進化し続ける複雑な脅威に対抗するには、組織は「総力戦で対応」することが重要になります。総力戦とは、先進的なセキュリティ対策、それを支援するツール、企業内における強固なセキュリティ文化、アプリケーション開発工程からセキュリティを組み込むDevSecOpsなど、全ての対策を組み合わせて行う事です。

生成AIによって進化するソーシャルエンジニアリングと詐欺の手口

生成AIが急成長を遂げる以前、フィッシング詐欺には主に2つの方式が存在していました。1つ目の方式は、不特定多数へのばらまき型です。具体的には、大量の標的に対して一斉に詐欺攻撃を仕掛け、わずかな人数でもその被害に遭うことを期待するものです。2つ目の方式は、特定の標的ユーザに関する情報を徹底的に調べた上で、緻密な手作業で詐欺攻撃を仕掛けるものです。これは「ハープーン型フィッシング（Harpoon Phishing）」、「捕鯨型フィッシング（Whale Phishing）」などと呼ばれ、多大な労力を要する一方で、成功率も高まります。

生成AIは、これら2つの方式を融合し、大量の標的にメッセージを一斉送信しながらも、各標的に合わせて巧みな表現を混ぜ込み、説得力を高める能力を備えています。また、文法的な乱れもなく、複数の言語に対応しています。こうした進化はテキストのみにとどまらず、偽の音声や動画による「ディープフェイク」にも及び、ビジネス上のさらなる脅威を生み出す可能性があります。

例えばとある企業において、1億円以上の商品を購入する際には必ず、音声電話等でのリアルタイムな承認が実施されなければ購入してはいけない、というルールで運用がなされているケースについて考えてみます。攻撃者は、生成AIによって巧妙なリクエストメールを作成し、承認者に送信します。なお、メールには不正な電話番号が記載されています。承認者より確認の電話がかかってきた際には、ディープフェイクで作成した音声で回答することにより、購入の手続きを成立させることができます。これはあくまで仮定ですが、決してあり得ない話ではなく、すでに一部は現実のものとなっています。実際に、著名な俳優であるトムハンクスの顔や声を真似た偽のデンタルプラン広告が広まった際には、本人がそれを自ら否定しなければならない事態に追い込まれました。この事案で発生した損害はまだ小規模なものと捉えることができます。より深刻な事態として、株価の操作、選挙や戦渦における偽装活動、著名人に対するネガティブキャンペーンなどが考えられます。

参考記事：ディープフェイクとは？～生成AI時代に認識しておくべきサイバー脅威～

こうした技術を利用するための敷居は、AI動画作成ツール「HeyGen」などの簡便なアプリ型インターフェースの普及に伴い、大幅に引き下げられました。サイバー犯罪者は、例えコーディングの知識やコンピュータ・リソースがなくても、独自の要求に沿ったアウトプットを高解像度で得ることが可能です。また、他者にとってはそれがAIによって作成されたものと見抜くことも、簡単ではありません。

攻撃者は生成AIを用いて特定の個人になりすまし、保護された認証手続きに介入する可能性がある

生成AIを悪用したサイバー犯罪

公開版の生成AIが初めて脚光を浴びた際には、サイバー犯罪用のGPTモデルやAIエンジンが作成され、これによって「停止不可能な」マルウェアが永続的に作られ続けるのではないか、という懸念が専門家の間で広がりました。
そうした試みは確かにサイバー犯罪者の間で行われていますが、現状、懸念されていたほど簡単なことではないようです。例えば2023年に注目を集めた「FraudGPT」は、犯罪宣伝を代行するのみの「ベーパーウェア（vaporware）」に終始し、完成には至らなかったようです。また、年末には「WormGPT」がニュースを賑わせましたが、あまりにも注目を集めすぎたという理由で、すぐに計画の中止が宣言されました。

「独自の犯罪用GPTを作成する方法」をテーマとするサイバー犯罪フォーラムでは、主に既存のLLMインフラ（LLaMA：大規模言語モデル）を活用する手口やトリックについて議論されています。現状、犯罪目的でLLMを新たに構築するのはコスト面で困難であり、どちらかというと、一般公開されているAIアプリを「脱獄」する手段に注目が集まっています。この「脱獄」とは、目的外の使用を排除するためにAIアプリが導入している規約やルールの不備を突き、不正な目的に沿った出力を引き出すことを意味します。

こうした状況ではあるものの、不正なLLMを開発しようという目論見は2024年の間も継続し、マルウェアの作成を支援する新規ツールが出現すると予測されます。さらに情報窃取の規模が拡大する中で、新たなサイバー犯罪ビジネスとして、「サービスとしての偵察活動（RecoaaS：Reconnaissance as a Service）」が浮上する可能性があります。また、犯罪グループの間では、窃取済みデータから個人情報を効率的に抽出する手段としてAIを利用し、抽出結果を別の犯罪グループに販売する動きも出てくるでしょう。この場合、より大規模にデータを盗み出すなど、さらに苛烈な標的型攻撃に発展する恐れがあります。

生成AIの普及による影響として、脆弱性を発見する競争自体が加速化しています。これは、生成AIによってオープンソース・ソフトウェアのソースコードがバージョン間で比較解析され、そこから開示済みの脆弱性に加え、未開示の脆弱性さえも発見されるためです。

先述したように、犯罪グループはAIアプリ自体も攻撃対象としています。初期の頃は、不正なプロンプト（指示）をAIシステムに与え、誤作動を起こさせるパターンが報告されました。しかし、この手口については、AIにユーザ入力を学習させないように調整することで、比較的容易に対処できることが示されました。最近では、AIアプリの乗っ取り行為や、先述した「脱獄行為」が、サイバー犯罪フォーラムで盛んに議論されています。こうした手口も、2024年には着実に根付いていくと予想されます。

生成AIの脅威にもゼロトラストが有効

生成AIによってサイバー犯罪者の攻勢は確かに強まりましたが、企業や組織では、変化に対応することで、その脅威に打ち勝つことが可能です。ここでの鍵は、AIの機能とゼロトラストの方針を組み合わせてセキュリティを強化することです。

ゼロトラストとは、その名前が示すように、事前に何も信頼しない方針を指します。例えば、本人確認は必ず行い、機密情報やプロセスへのアクセス権は、決められた目的下で決められた時間に限り、必要とするメンバーや端末にのみ付与します。これによって攻撃対象領域（アタックサーフェス）が狭まり、攻撃者の動きも鈍くなるでしょう。

先述したディープフェイク音声による偽装認証のシナリオにゼロトラストの方針を適用した場合、メッセージに記載された番号に電話をかけること自体が禁止されます。その代わりに、「安全な電話番号リスト」が用意され、購入に際しては複数のステークホルターによる許可が求められるでしょう。さらに安全性を高めるため、認証時に暗号化された言葉を用いる方式も考えられます。

フィッシング攻撃におけるなりすましの手口は、すでにユーザ自身で区別が付かないほど巧妙に進化しました。しかし、サイバー犯罪に対する意識強化の訓練は依然として必須であり、そこをさらに防御技術でサポートする必要があります。AIや機械学習を用いることで、Webページやメッセージ内の語調や感情を識別し、ユーザ自身では気づけない詐欺を見抜けるようになると考えられます。

生成AIをサイバーセキュリティに活用する

生成AIは、サイバーセキュリティチーム側にも恩恵があり、分析作業の高速化、生産性の向上に寄与します。例えば生成AIを用いることで、アラートやスクリプト、コマンドの内容を、分析担当者に分かりやすい言葉で伝えることが可能です。また、検索用語に慣れていない担当者に対し、的確な検索クエリを提示できるようになるでしょう。さらに、インシデントの発生直後にセキュリティ対応のプレイブックを自動実行することで、実質的な「戦力増強」にも繋がります。

また、インシデント報告に関連する作業をAIで自動化することで、その負担を大幅に軽減できると考えられます。特にルーティン化された業務に対する効果が大きく、チケットやレポートの対応、レポートの翻訳、作業対応マニュアルからの情報抽出などが高速化されると見込まれます。

生成AIには、セキュリティ事象における対応、修復の工程を強化する効果があります。これは、さまざまなリスクに対する対応優先度の振り分けや、カスタム設定によるリスク削減、推奨される対処法の提示などを通して実現されます。さらに、ユーザがどのAIアプリを、どこで、どのように使用しているかを特定することも可能です。

企業や組織にとって、AIアプリの使用を全面的に禁止することは現実的とは言えず、むしろ、的確に管理していく必要があるでしょう。そうした中で、AIアプリの開発者は、安全性を優先し、不正利用の防止に努めることが求められます。

生成AIとサイバーセキュリティ・プラットフォームを統合することで、その恩恵は飛躍的に向上します。該当するセキュリティ・プラットフォームの1つである「XDR（Extended Detection and Response）」は、エンドポイントからクラウド環境にまたがって、セキュリティレイヤーを跨った横断的なテレメトリ情報を提供します。

最後に生成AIは、自発的なサイバー防衛活動にも貢献します。具体的には生成AIを用いることで、産業特有の攻撃や侵害のシミュレーションを、独自の設定や動的な環境下で実施することが可能となります。従来の場合、典型的な「レッドチーム」の組織を運用できるのは、潤沢な資金を有する一部の企業に限定されていました。生成AIは、こうした敷居を取り払う可能性を秘めています。想定されるシナリオの1つとして、小さな企業や組織であっても生成AIを用いることで、さまざまな技術を取り込んだイベント・プレイブックを柔軟かつ動的に実行できるようになると考えられます。

終わりに

サイバー犯罪者は、不正な活動のために生成AIを可能な限り駆使するでしょう。実際に昨年は、そうした傾向がかなり色濃く表れました。こうした状況に対し、企業や組織でも生成AIを活用し、そこにゼロトラストのセキュリティフレームワーク、変化に応じた取り組み、企業文化としての強いセキュリティ意識を組み合わせることで、先手を打つ形で強力な防御策を実施できるようになるでしょう。

本記事は、2024年2月8日にUSで公開された記事What Generative AI Means for Cybersecurity in 2024の抄訳です。

参考記事：生成AIを悪用したサイバー犯罪、生成AIを活用したサイバーセキュリティ対策