ディープフェイク

ディープフェイクとは

ディープフェイクとは、AI(人工知能)によって作り出された偽の動画や音声もしくは、それを作るための技術を指します。機械学習の一部である"ディープラーニング"と、偽物という意味の"フェイク"を組み合わせた造語であり、近年、著しい進化を遂げています。サイバー犯罪者はディープフェイクによって標的となる人物を巧みに騙し、金銭や情報を詐取します。

ディープフェイクの種類

ディープフェイク動画

AIで生成されたディープフェイク動画は、現実のものと見分けがつかないくらいのレベルになっており、近年、重大なデータセキュリティのリスクをもたらしています。ディープフェイク動画は、政治家や有名人などの著名な個人を対象にしていると思われがちですが、親族や友人など身近にいる人物になりすますことも可能です。犯罪者の目的によっては、誤情報を広めたり、個人や組織を欺いたり、機密データや資金を要求したりするために使用されることがあります。

ディープフェイク動画は、ソースコンテンツをもとに生成されます。顔の特徴や動き、外形寸法、肌のトーン、髪と目の色、振る舞いなどの詳細なソースとなるデータがAIにフィードバックされ、正確な映像が生成されます。これは人物だけではなく、人物の背景映像にも当てはまります。オフィス、役員室、またはターゲットがよくいる場所の情報が周知されている場合、ソースコンテンツとビデオを使用して、可能な限り正確な複製が行われます。

こちらの動画では、ディープフェイク動画が犯罪者によっていかに簡単に作られ、組織的な詐欺として悪用されうるかを示したイメージを表しています。(視聴時間:約2分)

ディープフェイクアタックデモ動画(トレンドマイクロ制作)
※1:11から音声が流れます。

音声クローニング

ディープフェイク動画の生成と同様に、音声もオンラインで入手可能な素材を使用してAIによって生成されます。参照される情報源には、ボイスメール、電話通話、ポッドキャストやニュース、特定の個人やグループの音声を含む本物の動画コンテンツが含まれます。例えば、YouTube、企業のWebサイト、テレビやオンラインメディアの出演映像に加えて、X、Instagram、TikTok上のコンテンツもディープフェイクの作成に利用できてしまいます。

生成された音声はオリジナルの素材に可能な限り近づけることで、できるだけ信じられやすいものにすることができます。サイバー攻撃者が使用する生成AIツールは、トーン、ピッチ、話し方のパターン、明瞭さ、発音、そして話し手の感情など、いくつかの重要な要素を分析します。

ディープフェイクを使った犯罪

詐欺行為

法人組織の経営層や従業員を巧妙なメールなどを使って騙し、不正な送金処理を実施させる詐欺の手口として、ビジネスメール詐欺(BEC:Business Email Compromise)が知られています。ディープフェイクを悪用することにより、人間の心理的な隙や行動のミスにつけこんで情報を詐取するソーシャルエンジニアリング的側面が強化され、BECがより巧妙になることが懸念されます。

不正認証

ディープフェイクによって声紋認識や顔認識といったシステムの不正な認証が考えられます。この不正な認証を通して、銀行や金融機関、公共サービスなどで新たなアカウントを作成し、自分たちの不正活動に利用することが想定されます。トレンドマイクロでは、暗号資産取引所サイト「Binance」の顔認証を、ディープフェイクによって突破しようとしているアンダーグラウンドのフォーラムをすでに確認しています。

ディープフェイクとBinanceの本人確認のプロセスについて議論しているアンダーグラウンドのフォーラム

ディープフェイクとBinanceの本人確認のプロセスについて議論しているアンダーグラウンドのフォーラム

偽広告

トレンドマイクロでは、有名人のディープフェイクを用いた不正な広告を確認しています。正規の人気モバイルアプリやSNSなどで、有名人のディープフェイク広告が掲載されることで、一般ユーザを騙して、フィッシングサイトや詐欺サイトなどに誘引させようとしていると考えられます。

人気の語学学習アプリ「Duolingo」上での広告に登場するイーロン・マスクのディープフェイク ユーザがこの広告を選択すると「金融投資(250ユーロを投資し、1000ユーロを稼ぐ」などと喧伝するページに導かれる

人気の語学学習アプリ「Duolingo」上での広告に登場するイーロン・マスクのディープフェイク ユーザがこの広告を選択すると「金融投資(250ユーロを投資し、1000ユーロを稼ぐ」などと喧伝するページに導かれる

偽情報(ディスインフォメーション)の拡散

ディープフェイクは偽情報(ディスインフォメーション:Dis-information)の拡散にもしばしば悪用されます。ディープフェイクによって作られた情報がSNS等で拡散される事例は、近年多く確認されています。2023年5月には、米国防総省が爆発の被害にあったかのような偽画像がX(旧Twitter)などで出回り、米ニューヨーク株式市場では主要株で構成するダウ工業株30種平均が一時80ドル近く急落するなどの混乱が広がったと報じられています。ディープフェイクを用いた偽情報は、この米国防総省の事例のように経済的な損失を与えたり、選挙の投票結果にも左右したりするなど、大きな問題となっています。

ディープフェイクの被害事例

法人組織の被害例

2024年2月、香港の企業がディープフェイクを悪用したビデオ会議を通して詐欺にあう事件が発生しました。同社の最高財務責任者になりすました詐欺集団に対して2,500万ドルを送金したと報じられています。このビデオ会議は詐欺にあった従業員の他に複数名の参加者で開催されていましたが、どの参加者もディープフェイクで生成された偽の同僚で、詐欺にあった従業員は全員が偽物だということに気が付きませんでした。

チープフェイクアプローチ

2023年4月、米国アリゾナ州で仮想誘拐事件が発生しました。匿名の人物から「15歳の娘を誘拐した。身代金100万ドルを払え」と、女性が要求されたというものです。犯人との電話越しに、娘の泣き声や叫び声、懇願する声などが聞こえたということでした。この事件では、実際に娘は誘拐されておらず、仮想誘拐であったことがわかっています。この事件における犯人との電話では、娘の声を元にして作成されたクローン音声が用いられたのではないかと考えられています。実際に、米連邦取引委員会でも、家族のクローン音声を用いた詐欺について注意喚起を発しています。

ディープフェイクの対策

対策の提言

まず、組織におけるディープフェイクへの対策として、ディープフェイクの存在とその悪用の可能性について正しく理解し、そのリスクを認識することが重要です。そのためのアウェアネストレーニングを既存のセキュリティ研修に組み込むことを検討すべきでしょう。

また、ディープフェイクの悪用が今後も一層と進むことが想定されますので、情報源を確認することの重要性がますます高まることになります。ディープフェイクによって作成された偽情報に惑わされないために、正確な情報を選別する必要があります。一方で、ディープフェイクの技術が進化するにつれて、そのコンテンツだけでは真偽の判断が難しくなります。コンテンツだけでなく、その文脈や、やり取りに違和感がある場合にも、情報の発信元を確認したり、複数の情報源の比較を行ったりすることを推奨します。

さらに、ディープフェイクの標的となるリスクを減らすためにできることがあります。これらはサイバーセキュリティの意識と教育を促進する米国のNational Cybersecurity Allianceによって推奨されているものも含まれます。

  1. 不明な番号からの着信通話をスクリーニングし、ボイスメールに転送
  2. すべてのオンラインアカウントで多要素認証を設定
  3. ユニーク且つ長い複雑なパスワードを使用
  4. Webカメラの設定
  5. 写真や動画の共有前に、ウォーターマーク(画像や動画、音声などのデジタルコンテンツに、著作権情報や所有者情報を示すために埋め込まれる情報)を付加
  6. オンライン上または電話でやり取りした内容について、相手に直接確認(もし可能であれば)
  7. 句読点、トーン、文法など、不審なメールの詳細を精査

ゼロトラストの原則を守り、ディープフェイク検出ソリューションを活用

ゼロトラストアプローチはサイバーセキュリティにおいて重要です。特に、ディープフェイク対策について有効なアプローチとなります。具体的には、以下のような点が挙げられます:

  • 認証と認可のプロセスが整備され、遵守されていることを確認
  • ユーザのデータやネットワークへのアクセスを積極的に規制・監視
  • 脅威を検知した際に侵害を想定し、被害範囲を最小限に留める

また、ディープフェイクの検査および検出ソリューションは、ユーザのアイデンティティ、データを保護するのに役立ちます。AIイノベーションが加速する現代において、人間が手動でディープフェイクを検出することは難しいため、このようなソリューションの活用は有効な対策の一つです。

トレンドマイクロではWindows PC向けディープフェイク検出ツール「トレンドマイクロ ディープフェイクスキャン」(ベータ版)を提供しています。本ツールはビデオ通話中にディープフェイクの可能性を検出した場合、利用者に警告を表示して知らせます。
また、法人組織向けに、「Deepfake Detector」をエンドポイント対策ソリューション「Trend Vision One -Endpoint Security」の一機能として提供予定です。ビデオ会議中のディープフェイクの可能性を検出し、警告を表示して知らせることによって、金銭や企業の機密情報を窃取することを目的とした詐欺被害リスクの低減が期待できます。今後、個人においても、法人組織においても、これらの対策技術の導入を検討することが求められるでしょう。

ディープフェイクについての関連情報

生体情報の露呈が引き起こすサイバーリスクを解説

私たちがオンラインで公開している写真、動画、音声には、サイバー犯罪者に悪用される可能性がある生体情報が含まれている場合があります。本稿では、生体情報の露呈が引き起こすサイバーリスクについて解説します。

「ディープフェイクに関する実態調査2024年版」から見えてきた脅威を解説

AI技術の進歩にともないディープフェイクの巧妙化や乱用が懸念されます。ディープフェイクに関する実態調査のデータをもとに、組織が備えておくべき事項について説明します。

国内の平均被害額5,000万円以上-BEC(ビジネスメール詐欺)被害の日本企業における実態と今求められる対策とは?

世界的に大きな脅威であるBEC(ビジネスメール詐欺)。国内組織における被害の状況や優先すべき対策とは?国内企業向けの独自調査を元に整理しました。