【AI Pulse】ディープフェイクを悪用した詐欺とインフルエンスオペレーション

サイバーセキュリティAIブログ「AI Pulse」へようこそ

トレンドマイクロは、20年以上にわたり機械学習およびAIの研究を行ってきました。そして、AIが「防御ツール」にも「攻撃ツール」にもなり得ることを理解しています。「AI Pulse」は、長年の研究に基づくトレンドマイクロの視点や、これまでのセキュリティベンダとしての経験を読者の皆様と共有するブログシリーズです。

人工知能は、何十年も前から存在しています。しかし、2022年後半のChatGPTの登場は、AIにおける「ビッグバン」に相当すると言っても過言ではないでしょう。その爆発力は凄まじいものでした。しかし、これから、このビックバンを起点とした本格的な膨張が始まります。言い換えれば、私たちはやっとスタート地点に立ったばかりです。そして、この爆発の威力は、今後多くのサイバーセキュリティ体制に影響を及ぼすことになるでしょう。

ブログの初回となる今回は、①AIを利用した詐欺の急増、②パリ・オリンピックがディープフェイクの悪用に好都合である理由について解説します。

AI脅威動向～急増する詐欺～

BECからBVCへ？

投資詐欺やBEC（Business Email Compromise：ビジネスメール詐欺）から犯罪者が得られる利益は、ランサムウェアのようなサイバー攻撃の何百倍も大きいと考えられます。攻撃者は、オープンソースの音声・画像生成ツールをディープフェイク作成のために悪用します。現時点では、詐欺犯罪においてAIが担っている役割は比較的小さいと考えられますが、AIを取り巻く環境は今後急速に変化することが予測されます。

昨今BECに加えて、「BVC」とも呼べるような詐欺が出現しています。BVCとは「Business Voice Compromise」、つまり、AIによる音声生成ツールを使用することで、例えば企業の役員になりすまして不正な取引を承認するなどのサイバー犯罪です。2024年5月には、世界的な広告代理店WPPのCEO（最高経営責任者）が、詐欺未遂事件の標的となったという報道がありました。報道によれば犯罪者は、CEOの公開画像を使ってメッセージングアプリ「WhatsApp」のアカウントを作成し、それを使ってCEOとWPPの別の幹部とのミーティングを設定したとされています。ミーティング中、犯罪者はCEOの声のクローンとYouTubeの映像を流し、新しいビジネスの立ち上げと金銭や個人情報を要求しようとしましたが、未遂に終わったということです。また、2024年4月には、実在しない投資プラットフォームの広告塔として、ルーマニアのエネルギー担当大臣のディープフェイク動画が利用されたという報道もありました。

画像生成ツールの悪用

ディープフェイク技術の進化を悪用する事例は他にもあります。トレンドマイクロのリサーチャーが「Void Arachne」と命名したグループが、AI技術の導入に関心のあるユーザを標的として、MSI（Windowsインストーラ）形式の不正なファイルを展開していることが明らかになりました。MSIファイルはソフトウェア・インストーラの集合体であるため、攻撃者はそこにバックドアや追加のマルウェアを埋め込み、インストール時にはそれをユーザの目から隠して実行することが可能です。本攻撃では、不正なC&C（コマンド＆コントロール）用フレームワーク「Winos」のバックドア機能がMSIファイル経由でインストールされ、システム全体の侵害に至ります。このMSIファイルには、Winosのインストーラだけでなく、AI技術によるヌード化ツールやディープフェイク・ポルノ生成ツール、音声・顔変換ツール、簡体字中国語の言語パック、簡体字中国語版のGoogle Chrome、中国市場向けのVPNツール「LetsVPN」や「QuickVPN」も同梱されており、ユーザの目を欺く作りとなっています。

「AIの民主化」の中のパリ・オリンピック

7月下旬から8月上旬にかけて、約1,500万人もの人々がパリを訪問すると予想されています。彼らは、交通機関や宿泊施設などの手配を求めて、見知らぬ街の中を移動します。パリに不慣れな訪問者を標的として、サイバー攻撃者が不正アプリ、不正リンク、フィッシングやスミッシングなど、あらゆる手口を使って個人情報を窃取しようと企んでいるとしても不思議ではありません。
さらに、このパリ・オリンピックは、「AIの民主化」が進んでから初の世界的イベントの1つです。攻撃者がAIを悪用して攻撃を仕掛けてくることは十分にあり得ることです。

参考記事：2024年パリ・オリンピックに便乗するサイバー犯罪者～生成AIも利用する詐欺の手口とは？～

ディープフェイクを用いたインフルエンスオペレーション

オリンピックに先立つ6月には、テロ攻撃の危険性があるためパリの地下鉄を利用しないよう米国人に呼びかける、偽のCIA（米国中央情報局）の動画が、XやFacebookなどのSNSで拡散されたと報道されました。これに対しCIAの広報担当者は、「その動画は偽造であり、CIAとは何の関連もなく、CIAの見解を表してもいない」と回答したとしています。さらにその後、地下鉄におけるテロの脅威について人々を不安にさせたとしてCIAを非難するフランス当局者の偽の動画が、テレグラムに公開されたとも報じられました。いずれの動画も、同じDisinformation（偽情報）ネットワークから発せられたものと考えられ、米国や欧州の政府関係者への信頼を損なわせる広範な戦略の一環であるとされています。

このように、特定の政治的、社会的、経済的目標を達成するために、ターゲットとなる個人や集団の認識や行動を意図的に変えることを目的とした作戦を、「インフルエンスオペレーション」と呼びます。インフルエンスオペレーションにおいて拡散される3つのコンテンツ、Misinformation（誤情報）、Disinformation（偽情報）、Malinformation（悪意のある情報）のうち、Disinformation（偽情報）では、今や生成AIによるディープフェイクを用いた高精度の動画や音声が用いられ、偽物かどうか見破ることも難しくなっています。

参考記事：インフルエンスオペレーションとは

メダルの行方にも影響？

インフルエンスオペレーションに使用されているディープフェイク技術が、オリンピックそのものを貶めるために用いられる可能性があります。例えば、フェイクニュースにより競技の勝敗が誤って伝えられる恐れ。あるいは、ディープフェイク技術を用いて生成された「合成音声」がコーチ、選手、チーム、そして、審判に悪影響を及ぼす恐れ。さらには、ディープフェイク技術を使用して作成された画像や動画が、アスリートの中傷や特定の選手の出場を阻止するために使用される恐れなどが考えられます。
仮に、ディープフェイク技術を悪用して生成されたコンテンツが競技の勝敗を左右するとしたら、選手個人の生活・精神面・選手生命への影響はもとより、オリンピックの権威失墜、開催国の政治的・経済的プレゼンス低下、国や地域間のあつれきなど、もたらされる悪影響は計り知れません。オリンピックは、不和をあおり社会の分断を狙う攻撃者にとって好都合な「プラットフォーム」となる可能性があるのです。

オリンピックファンにできること

基本的なことですが、オンラインで目にするものを鵜吞みにしないことが重要です。信頼できるサイト上の情報を確認することや、複数の情報ソースと照合することが推奨されます。信頼できる情報でない限り、SNSなどでの共有は控えたほうが良いでしょう。
また、すべてのハイパーリンクやアプリケーションを利用する前に精査し、危険な可能性がある場合には開かないことが重要です。スマートフォン、PC、その他個人の特定が可能なあらゆるデバイスを確実に保護することも大切です。そして、このセキュリティ対策は、SMS、電子メール、アプリなど、情報を得るために使用するすべてのチャネルにも適用することが必要です。
犯罪者グループは人々の混乱と脆弱性につけこみます。上述のように対策を取り、警戒を怠らないことが、AIを悪用したサイバー犯罪に対する防御につながります。

本記事は2024年6月28日にUSで公開された記事「AI Pulse: Siri Says Hi to OpenAI, Deepfake Olympics & more」の抄訳です。

参考記事
・インフルエンスオペレーションとは
・2024年パリ・オリンピックに便乗するサイバー犯罪者～生成AIも利用する詐欺の手口とは？～
・ChatGPTやMidjourneyなどのAIツールを装う不正な広告から情報窃取ツール「Redline Stealer」が拡散
・生成AIを用いたサイバー犯罪に関する最新の調査状況を解説