ディープフェイクとは？～生成AI時代に認識しておくべきサイバー脅威～

公開日：2023年8月30日
更新日：2024年2月29日

ディープフェイクとは？

ディープフェイクとは、AIによって作り出された偽の動画や音声といったコンテンツもしくは、それを作るための技術を指します。機械学習の一部である"ディープラーニング"と偽物の"フェイク"を組み合わせた造語であり、近年著しい進化を遂げている分野です。ディープフェイク自体は不正なものではなく、動画配信サービスやSNSといったエンターテイメント分野では、ディープフェイクがビジネスに取り組まれており、ユーザは気軽に利用することができます。また、他分野での活用も期待されており、国内外で技術の研究が進められています。

ディープフェイクを悪用するサイバー犯罪

一方で、ディープフェイクは様々なサイバー犯罪において悪用されており、大きな問題となっています。主に、以下のような犯罪でディープフェイクが悪用された、または悪用される可能性があることを確認しています。

・詐欺行為

法人組織の経営層や従業員を巧妙なメールなどを使って騙し、不正な送金処理を実施させる詐欺の手口として、ビジネスメール詐欺（BEC：Business Email Compromise）が知られています。ディープフェイクを悪用することにより、ソーシャルエンジニアリング的側面を強化され、BECがより巧妙になることが懸念されます。

関連記事：
国内の平均被害額5,000万円以上－BEC(ビジネスメール詐欺)被害の日本企業における実態と今求められる対策とは？

・不正な認証

ディープフェイクによって声紋認識や顔認識といったシステムの不正な認証が考えられます。この不正な認証を通して、銀行や金融機関、公共サービスなどで新たなアカウントを作成し、自分たちの不正活動に利用するなども想定されます。トレンドマイクロでは、暗号資産取引所サイト「Binance」の顔認証について、ディープフェイクによって突破する手口を議論しているアンダーグラウンドのフォーラムをすでに確認しています。

ディープフェイクとBinanceの本人確認のプロセスについて議論しているアンダーグラウンドのフォーラム

・偽広告

トレンドマイクロでは、有名人のディープフェイクを用いた不正な広告を確認しています。正規の人気モバイルアプリやSNSなどで、有名人のディープフェイク広告が掲載されることで、一般ユーザを騙して、フィッシングサイトや詐欺サイトなどに誘引させようとしていると考えられます。

人気の語学学習アプリ「Duolingo」上での広告に登場するイーロン・マスクのディープフェイクユーザがこの広告を選択すると「金融投資（250ユーロを投資し、1000ユーロを稼ぐ」などと喧伝するページに導かれる

・偽情報の拡散

ディープフェイクは偽情報（ディスインフォメーション：Dis-information）の拡散にもしばしば悪用されてしまいます。ディープフェイクによって作られた誤った文脈や詐欺的な内容、でっち上げや操作された内容の情報がSNS等で拡散される事例は近年多く確認されています。2023年5月には、米国防総省が爆発の被害にあったかのような偽画像がTwitterなどで出回り、米ニューヨーク株式市場では主要株で構成するダウ工業株30種平均が一時80ドル近く急落するなど混乱が広がったと報じられています。ディープフェイクを用いた偽情報は、この米国防総省の事例のように経済的な損失を与えたり、選挙の投票結果にも左右するなど、大きな問題となっています。

生成AI時代におけるディープフェイクの脅威拡大

テキスト、音声、画像、動画などで生成AIの活用が進んでおり、今後さらに高品質なコンテンツをリアルタイムに生成できるようになることが考えられます。ディープフェイクの分野においても、すでに生成AIの技術を活用したサービスが展開されています。技術革新が進んだことにより、ディープラーニングの学習元となる教師データも従来ほど必要ではなくなっており、例えば1分以上のサンプル音声があれば、そのサンプルの人物の声で自由に喋らせられるAI音声生成プラットフォームがすでに登場しています。

これらの技術は、今までのディープフェイクを悪用した犯罪を、より高度に、より容易にしてしまうという側面があることも認識しておかなければなりません。今まで教師データの学習量の関係で、ディープフェイクにおける偽コンテンツの対象となるのは、インターネット上に動画や画像などが多く公開されている企業の経営者や政府の高官などが一般的でした。しかし、一分程度の教師データでディープフェイクが作られるのであれば、一般ユーザが投稿しているSNSの日常的な動画であっても、その人物とそっくりな偽の動画や音声を作るための十分な学習データになり得るのです。

個人を狙ったディープフェイク詐欺

2023年4月、米国アリゾナ州で仮想誘拐事件が発生しました。匿名の人物から「15歳の娘を誘拐した。身代金100万ドルを払え」と、女性が要求されたというものです。犯人との電話越しに、娘の泣き声や叫び声、懇願する声などが聞こえたということでした。この事件では、実際に娘は誘拐されておらず、仮想誘拐であったことがわかっています。この事件における犯人との電話では、娘の声を元にして作成されたクローン音声が用いられたのではないかと考えられています。実際に、米連邦取引委員会でも、家族のクローン音声を用いた詐欺について注意喚起を発しています。

法人組織を狙ったディープフェイク詐欺

2024年2月、香港の企業がディープフェイクを悪用したビデオ会議を通して詐欺にあう事件が発生しました。同社の最高財務責任者になりすました詐欺集団に対して2,500万ドルを送金したとされています。このビデオ会議は詐欺にあった従業員の他に複数名の参加者で開催されていましたが、どの参加者もディープフェイクで生成された偽の同僚で、詐欺にあった従業員は全員が偽物だということに気が付きませんでした。

現在のディープフェイク生成ツールでは数文のビデオを生成するのに 30 分の処理が必要であることを考えると、攻撃者が自然な会話でリアルタイムのビデオ通話をする可能性は低いと考えられます。しかながらしテキストからビデオへの変換の技術進化が目覚ましく進んでおり、リアルタイムに会話できる状態になると予測されています。

組織におけるディープフェイクの対策と国際的な取り組み

組織におけるディープフェイクへの対策として、ディープフェイクの存在とその悪用の可能性について正しく理解し、そのリスクを認識しておくことが重要になります。そのためのアウェアネストレーニングを既存のセキュリティ研修に組み込むことを検討すべきでしょう。さらに、ディープフェイクの悪用が進むと考えられる今後は、情報源の確認の重要性がますます高まることになります。ディープフェイクによって作成された偽情報に惑わされないために、正確な情報を選別する必要があります。一方で、ディープフェイクの技術が進化するにつれて、そのコンテンツだけでは真偽の判断が難しくなります。コンテンツだけでなく、その文脈や、やり取りに違和感がある場合にも、情報の発信元を確認したり、複数の情報源の比較を行うことが推奨されます。

コンテンツの真偽を確かめるための技術開発や実装も進んでいます。国際社会において、ディープフェイクの悪用で特に懸念されるのが、安全保障や選挙結果に関わってくる偽情報の対策です。日本政府のAI戦略会議では、「偽・誤情報の対策技術やAIによって生成されたコンテンツか否かを判定する技術等の確立・社会実装、国際的な情報発信」について、重点的に推進すべきAI関連施策として進められています。また、トレンドマイクロではWindows PC向けディープフェイク検出ツール「トレンドマイクロディープフェイクスキャン」（ベータ版）を提供しています。本ツールはビデオ通話中にディープフェイクの可能性を検出した場合、利用者に警告を表示して知らせます。法人組織においては、これらの対策技術の導入も必要に応じて検討することが求められるでしょう。