Artificial Intelligence (AI)
過度な期待と現実：サイバー犯罪のアンダーグラウンドにおけるChatGPTを中心としたAIの動向
本稿は、サイバー犯罪のアンダーグラウンドにおける生成型人工知能（AI）の現状に焦点を当てています。具体的には、サイバー犯罪者がChatGPTをどのように活用しているか、犯罪のツールにどのようにChatGPTの機能を組み込んでいるか、そしてChatGPTに自由に質問するためにどのように検閲を回避しようとしているかについて解説します。
最近、生成型人工知能（AI）は、メディアの継続的な取り上げや毎週のように新しく登場する革新的なアプリケーションのおかげで、過度な期待の中、業界で著しい成長を遂げています。この技術はサイバー犯罪のアンダーグラウンド市場でも同じような影響を及ぼしているのでしょうか。
現状は「いいえ」であると言えます。
サイバー犯罪アンダーグラウンド市場では、昨今の状況を受けてAIが新たに取り入れられたわけではありません。生成型AIが主要なトレンドとして注目される前から、攻撃者はAIを悪用してきました。事実、トレンドマイクロでもEuropolやUNICRIと共同で、サイバー犯罪アンダーグラウンド市場がAIをどのように扱っているのかを調査した論文を発表していました。このレポート「Malicious Uses and Abuses of Artificial Intelligence」（英語）は、GPT-3（Generative Pre-trained Transformer-3）が初めて発表されてわずか1週間後の2020年にすでに公開されていました。
その後、GPT-3やChatGPTを含むAI技術は、全世界で大きな注目を集めています。IT業界では、OpenAIが開発したChatGPTと競合したり、OpenAIの提供するものを補完する形で新しい大規模言語モデル（LLMs）やツールが続々と登場したりしています。これらの技術により、オープンソースその他に特化したモデルが活発化し、LLMsをさらに発展させ、新たな手法の研究や方法論が議論されています。
サイバー犯罪アンダーグラウンド市場がこれらの技術革新を取り入れ、新しいアプリケーションを開発している可能性が考えられますが、実際にはどうなのでしょうか。その意味では、アンダーグラウンド市場における生成型AIも、昨今の状況を受けて「過剰な期待」に沸き立っているようには見えます。実際、アンダーグラウンド市場のフォーラム「Hack Forums」では「Dark AI」というAI専門のセクションが新たに設けられたことからも、こうした状況が伺えます。
しかし、このセクションで取り上げられているトピックを見ると、革新的な進歩とは程遠い内容となっていることがわかります。サイバー犯罪の界隈において、AIの話題の多くは、ChatGPTの検閲を解除する新たな方法や、ChatGPTを代替する新しい犯罪ツールに関する内容に終始しています。
サイバー犯罪者によるChatGPT利用法
サイバー犯罪アンダーグラウンド市場の動向を追ってみると、ChatGPTに関する話題が非常に活発であることが伺えます。ChatGPTの可能性や、それをどう活用するかについての議論が展開されています。これは想定内のことでもあり、ChatGPTは全ての開発者にとって有益なツールとなっており、サイバー犯罪者もその例外ではありません。
関心の焦点となっている主要なトピックはいくつか存在しています。以下、サイバー犯罪者がどのようにChatGPTを利用できるか、ChatGPTの機能をサイバー犯罪にどう取り入れるか、どうすればChatGPTの検閲を解除して自由に質問することが可能か、主にこれら3点について詳述します。
サイバー犯罪者と開発者がChatGPTを使ってコードを進化させる
マルウェアの開発者は、通常よりも迅速にコードの断片を生成するためにChatGPTを頼りにしています。今回の調査からも、マルウェア開発者たちは、特定の機能に関する情報をChatGPTに求めるケースが多いことが確認されました。そして、AIによって生成されたコードをマルウェアやその他のソフトウェアに取り入れています。
マルウェア開発者の中には、ChatGPTを活用してマルウェアを自作したと主張する者も少なくありません。例として、Cracked.ioのフォーラムには、ユーザが「SoundCloud viewbot」というツールを紹介しており、その多くがChatGPTによって生成され、ユーザが組み合わせて完成させたものだと言われています。
実際、このような手順によるボットの作成は例外ではありません。多くの開発者は、まずはChatGPTを利用してコードの改善や基本的なコードの生成を行い、後にそれを調整や最適化するという手順を採用しています。
不正なサービスにChatGPTの機能を追加するサイバー犯罪者
ChatGPTは、信頼性のあるテキスト作成の機能に優れており、スパムメールやフィッシング攻撃キャンペーンに悪用されるケースもあります。一部のサイバー犯罪者向け製品では、ChatGPTのインターフェースを取り入れて、顧客がスパムメールやフィッシングのメール文面を作成できるようにしている状況が確認されています。
具体例としては、AOLメール、Gmail、Hotmail、Outlook、ProtonMail、T-Online、Zohoメールをサポートするスパム送信ソフトウェアGoMailProがこのケースに該当します。被害者へのスパムメール送信の際、多くのサイバー犯罪者がこのソフトウェアを使用しています。実際、2023年4月17日、GoMailProにChatGPTを組み込んでスパムメールの文面が作成できるようになったという開発者による宣伝が、このソフトウェア販売関連のスレッドで発表されていました。
これは、ChatGPTのテキスト生成能力をサイバー犯罪者たちがすでによく理解していることを示唆しています。加えて、ChatGPTの多言語対応は、数多くの被害者を欺くために説得力のあるテキストを複数言語で作成するスパムメール送信者たちにとっても、大きな魅力となっています。
ChatGPTの「脱獄」：サイバー犯罪者による検閲制限の解除
ChatGPTは、違法や議論のあるトピックへの返答を避けるようにプログラムされているため、ユーザが尋ねる質問の範囲に制約が生じます。しかし、サイバー犯罪者たちが情報を求めるのは、まさにそのようなトピックに関してです。このため、ChatGPTの検閲を回避する方法を探求して共有する動きが一部のコミュニティで確認されています。
Hack Forumsの「Dark AI」カテゴリーには、「DAN 7.0 [FFEN]」というスレッドがあり、ここではChatGPTの「脱獄（Jailbreak）」に関する議論や情報が共有されています。「FFEN」は「Freedom From Everything Now」の略であり、ChatGPTは、これを使用することで、すべての倫理的制限を無視した回答ができるようになると言われています。この「FFEN」は、もともと「DAN（Do Anything Now）」（制限を無視して何でもするという意味）というプロンプトをベースにしています。
DANは最初の脱獄用プロンプトとして知られていますが、ChatGPTの検閲を回避する他のプロンプトも存在します。例として「Trusted Evil Confidant」などが挙げられます。実際には、多くの脱獄用プロンプトが公開されており、ユーザはそれらを利用し、評価することができます。
ChatGPTの開発元であるOpenAIは、これら一連の脱獄の試みを常に監視しており、適切な対応を行っています。新しいアップデートがLLMに適用されるたび、脱獄用プロンプトは無効化されるのですが、それに対してサイバー犯罪者たちが新しい方法を模索するといった繰り返しは絶えることがありません。
サイバー犯罪者向けで知られるその他のAIチャットボット
2023年6月頃より、アンダーグラウンド市場のフォーラムにて「サイバー犯罪者向け」と称する言語モデルが登場し始めました。
これらの大言語モデルは、サイバー犯罪者が直面する課題、例えば、匿名性の確保や検閲の回避、不正なコードの生成といったニーズに対応する設計がなされているようです。しかし、大言語モデルの中には、カスタムデータで訓練された本来のLLMか、もしくは単にChatGPTの脱獄用プロンプトを使用しているだけなのか判別が難しいケースもあります。後者の場合は、単にGPTのブームに便乗した詐欺に過ぎないとも言えます。
WormGPTの興亡
WormGPTは、2023年3月、Hack Forumsでの発表により初めて注目を浴びました。開発者からは、迅速かつ安定した回答、文字数制限のない入力、検閲回避、そしてプライバシー重視の機能などが利点として挙げられています。
こうして多くの関心を集めた後、2023年6月にHack Forumsにて正式に公開されました。
公式発表では、WormGPTの特徴として「複数のAIモデル」のサポートや会話文脈の保持、そして近日中に実装される予定のコードのフォーマット機能などが詳述されました。
このチャットボットの料金は、月額100ユーロまたは年額550ユーロに設定されています。さらに5,000ユーロでのプライベートセットアップオプションも提供されています。WormGPTのスレッド内で開発者は、このチャットボットがChatGPTの脱獄用プロンプトに依存しない点や、そうした依存は信頼性が低いと見なしていることも明らかにしています。WormGPTは、完全にカスタマイズされたシステムであり、OpenAIの制約からも自由であると開発者は述べています。
サイバーセキュリティ業界のジャーナリストBrian Krebs氏とのインタビューにて、WormGPTの開発者は、GPT-J 6Bモデルを使用してトレーニングを行ったと明かしていましたが、チューニングのために使用されたデータセットについての詳細は不明です。
ただし、2023年8月8日、唐突にWormGPTサービスの販売が終了しました。開発者によると、過度なメディア露出とそれに伴う悪評が終了の原因とされています。
こうした諸々の論争を考慮に入れても、WormGPTは、Hack Forumsで言及されたカスタムLLMの中で、サイバー犯罪者向けのモデルとして最も実用に近いものと言えます。
LLM特別セール：FraudGPT、DarkBARD、DarkBERT、DarkGPT
「Cashflow Cartel」というTelegramチャンネルでは、2023年7月22日以降、AIに関する一連のサービスが紹介されています。初めて紹介された際には、AIを使用した不正コードの作成やフィッシングサイトの構築、マーケットプレイスやカードサイトの探索といった活動が含まれていました。その際、多岐にわたるAIモデルのサポートを謳っており、3,000人以上のユーザを持つと主張していました。サービスの料金は1ヶ月90ドルとされていましたが、初期の投稿では具体的なサービス名は明記されていませんでした。
2023年7月27日には、DarkBARD、DarkBERT、FraudGPTなどのサービスのオンラインでの提供が確認されました。投稿者やチャンネル運営者は、自らをサービスの再販業者として紹介していました。提供される各AIサービスには異なる月額料金が設定されていましたが、サービス内容の詳細は示されていませんでした。
しかし、2023年8月に入ると、これらのサービスに関するオファーはTelegramチャンネルから完全に削除され、それ以降の言及も見られませんでした。
そして以下の各点を考慮すると、これらのモデルが純粋にサイバー犯罪目的のためだけに開発されたとは考えにくいとも言えます。
- WormGPTに関しては、専門チームが存在したとしても、カスタマイズされた言語モデルの開発には数ヶ月を要します。こうした長い期間や開発経費を考慮すると、1つではなく、4つもの異なる能力を持つシステムの開発は非常に高コストとなるでしょう。
- これらのシステムの具体的な動作に関する証拠は見当たらない上、FraudGPTは4つのモデルの中で最も知名度が高いものの、他の場所で確認できるものは、販売者の宣伝資料やデモビデオに限定されています。
今回の調査に基づくと、これらのサービスは、VPNを通じて窃取されたアカウントを活用し、公式のChatGPTやGoogle BARDへのリクエストを転送するラッパーサービスとして機能している可能性が高いと言えます。さらに、改ざんされたユーザプロンプトを用いている可能性もあります。なお、混同を避けるために明確にしますが、DarkBERTという名称の公式なツールは実際に存在しています。このツールは、SW2という企業がダークウェブのデータを利用してRoBERTa （A Robustly Optimized BERT Pretraining Approach）というLLMをトレーニングして開発され、主にダークウェブページの分類や侵害データの検出などの業務で利用されています。SW2はDarkBERTを第三者に提供していないため、本稿でで言及しているDarkBERTは、名称が偶然一致している、もしくは何らかの理由で同じ名前を使用していると思われます。
また、DarkGPTという名称が最初に使用されたのは、2023年3月30日のHack Forumsにおいて、ChatGPTを悪用する代わりにDarkGPTを開発中であるという投稿においてでした。しかしその後、このユーザからの詳しい続報はないため、同じ名称の異なるプロジェクトで使用されていたのかもしれません。あるいは、当時宣伝されていたDarkGPTサービスは、ChatGPTのプロンプトを改ざんするためのスクリプトだったとも考えられます。Telegram上でのDarkGPTの価格設定が月額制ではなく、一度の支払いのみであることから、後者の可能性が高いとも言えます。
偽物と疑われる他のLLMs：WolfGPT、XXXGPT、Evil-GPT
前述した4つの大規模言語モデル（LLMs）は同じスレッドで販売されており、同一のグループによって作成された可能性が高いと言えます。一方、このセクションで取り扱う3つのLLMsは、それぞれ異なるフォーラムやスレッドで確認されました。これらは、前述のLLMsとの関連性もないようです。
2023年7月28日、「KEP TEAM」というTelegramチャンネルにて「WolfGPT」という新しいツールの広告が投稿され、他のいくつかのアンダーグラウンド市場のチャンネルでも話題となりました。元のアラビア語の投稿によれば、WolfGPTは「Pythonで制作された不気味なAIとして、WormGPTやChatGPTを遥かに超える存在」と紹介されています。このツールは、巧妙な暗号化型ランサムウェアの生成、戦略的に優れたフィッシングテキストの作成、そして秘密を絶対的な機密性で守る能力を備えていると説明されています。さらに、最新の技術を取り入れて日々進化しており、その機能は他のものと比べ物にならないほどであり、極めて慎重に取り扱う必要があるとも強調されています。
しかし、このツールに関する情報は、スクリーンショット１つのみと、ChatGPT APIのラッパーとして機能するPythonによるWebアプリのGitHubリポジトリ以外には見当たりません。しかもこのリポジトリが直接関連している確証も不十分なようです。
2023年7月29日、WolfGPTのTelegramでの宣伝の翌日、「XXXGPT」と名乗るユーザが、XSS.ISフォーラムに「5人の専門家チームによる、制限なしのパーソナライズボットAIカスタマイズサービス」として投稿しました。このXXXGPTサービスに関する他の投稿は、この最初の投稿以外には見当たりません。また、このツールに関するユーザフィードバックや質問、評価も存在しないようです。この最初の投稿によれば、このサービスは1ヶ月ライセンスで90米ドルとなっています。
2023年8月9日には「Evil-GPT」という新たなツールがBreachForumsで紹介されました。投稿者によると、これはWormGPTの代替となるものであり、Pythonで開発されており、価格は10米ドルと説明されていました。
Evil-GPTを試したというフォーラム上でのユーザからのフィードバックによると、このツールを動作させるにはOpenAIのキーが必要なようです。この事実は、WormGPTのような完全独立したLLMではなく、ChatGPTをAPI経由で利用するラッパーツールであることを示唆しています。ただし、フォーラム上のディスカッションでも指摘されていましたが、サイバー犯罪者にとってこのツールは必ずしも無駄ではないかもしれません。このツールによりサイバー犯罪者のOpenAIアカウントとは無関係のOpenAIキーへのアクセスや、最新の脱獄用プロンプト、VPNを介した動作が提供されるのであれば、10米ドルは、非常に魅力的な価格設定ともいえます。
ディープフェイク：犯罪者向けの新サービス
AI技術の進化と共に、サイバー犯罪者たちもディープフェイクの利用を始めています。ディープフェイクとは、ある人物のビデオ映像を別の人物の映像に差し替え、偽の情報を生み出す技術を指します。これらの偽映像により、恐喝、フェイクニュースの信憑性向上、ソーシャルエンジニアリングの手口による詐欺といった活動の成功確率を上げるため、より頻繁に利用され始めています。2020年のトレンドマイクロのレポート「Malicious Uses and Abuses of Artificial Intelligence」では、こうしたディープフェイク技術について詳しく分析しています。
近年、ディープフェイク技術の進化に関する話題が注目されています。現在、十分なコンピューティング環境が整っていれば、一般的な用途に適したレベルであれば、ディープフェイクを短時間で生成することができます。ただし、真実から見分けがつかないような高品質の映像を作成するには、多大な時間と専門的な後処理が必要となります。
ディープフェイクの生成には、生成敵対的ネットワーク（GANs：Generative Adversarial Networks）という技術が一般的に用いられます。これは、映像を生成するAIと、その映像が偽物であるかを判断するAIを対立させる方法です。生成AIは映像を修正し続け、検出AIが偽と認識しないレベルに到達するまで繰り返されます。このプロセスは複雑であり、その上、最終的な映像が人間を完全に欺けるかどうかは保証されていません。
2023年4月の記事では、セキュリティ企業Intel471の研究チームは、アンダーグラウンド市場のオンラインフォーラムで取引されるディープフェイク技術が現状では未熟であると指摘しています。多数のサイバー犯罪者たちが提供するディープフェイク製品を検証した結果、その品質は期待に遠く及ばなかったようです。提供されているディープフェイクの中には、約500ドル程度のものもありましたが、一部の製品の価格はそれを大きく上回るものもありました。どの価格帯の製品も、提供されたサンプル映像は完全に説得力があるとは言えませんでした。
確かに、非常にリアルなディープフェイク映像が公開されていることもあり、特に映画業界では高品質なディープフェイクが用いられています。しかし、一般ユーザ向けにおいて完璧なレベルにまで引き上げるには、まだ多くの努力とコストが必要です。現状、サイバー犯罪者たちにとって十分なリターンをもたらすビジネスモデルが確立されていないため、高品質なディープフェイク映像の制作は難しいのが実情です。
一方、オーディオのディープフェイクについては、犯罪者たちがその制作や利用を拡大する可能性が高まってきています。オーディオディープフェイクは映像に比べて作成が容易で、被害者の音声サンプルさえあれば比較的簡単に生成できます。特に、CEOを装った詐欺などでは、この技術は比較的簡単に導入することが可能となるでしょう。トレンドマイクロでは、オーディオのディープフェイク技術が、映像よりも先に一般的に普及することを予測しています。
人工知能を用いたサイバー犯罪への評価
AIを巡るサイバー犯罪の議論は、犯罪者の行為を支援する新しいAIシステムの作成が中心となっているわけではありません。一方、敵対的AIの他、Llama、Alpaca、GPT-3、GPT-4、Falcon、BERTなどを対象にしたサイバー犯罪関連の議論も明確には確認できていません。Midjourney、Dall-E、Stable Diffusionなども同様の状況にあります。いずれにしても、サイバー犯罪アンダーグラウンド市場のコミュニティでは、新たに最初からLLMを開発するという活動は、前述のWormGPTを除き、主な関心事とはなっていないようです。また、画像生成AIエンジンの利用もそれほど注目されていないようです。
むしろ、サイバー犯罪者の間では、ChatGPTのような特定のLLMを自分たちの手で新たに開発する必要はないと認識している可能性が高いでしょう。ChatGPT自体が、既に彼らのニーズを十分に満たしているからです。サイバー犯罪者間でのAIの利用方法は、基本的には他の人々がAIを使うケースと変わらないようです。ChatGPTが正規のプログラマーに与える影響と同じように、サイバー犯罪者の間でも同様の影響を受けているに過ぎないということなのでしょう。
他方、AIによりサイバー犯罪者になる技術的なハードルが大幅に下がったという点は特筆すべきでしょう。倫理観に欠け、コーディングの知識がない人物がマルウェアを制作できる状況になったのです。テスラの人工知能およびAutopilot Visionのディレクター、Andrej Karpathy氏のX（旧ツイッター）の投稿によれば「最もホットな新しいプログラミング言語は英語」であり、プログラミングができなくても、プロンプトを指示する英語ができれば十分ということなのでしょう。
また、攻撃者が海外の標的を狙う際、対象となる外国語を話すことができなくても、信頼性のある巧妙なソーシャルエンジニアリングの策略を立てることができるようになった点も特筆されます。かつてサイバー犯罪者として成功するために必要とされたコーディングや多言語のスキルも、AIにより、もう必須ではなくなりました。
また、経験のあるマルウェア作者は、少ない努力でコードをさらに進化させることができます。そして、彼らは自身がまだ完璧には扱えないプログラミング言語でもマルウェアの制作を始めることができます。ChatGPTがすべてのプログラミング言語に詳しいため、彼らがそれぞれの言語を完全にマスターしている必要はないからです。
このように、ChatGPTを駆使した不正活動への需要が高まっていることを考えると、サイバー犯罪者が未検閲のチャットボットインターフェイスにアクセスするための方法を熱心に探しているという動機は容易に理解できます。将来的には、他のサイバー犯罪者向けとして、脱獄済みのコマンドプロンプトにChatGPTインターフェースを組み込んだようなサービスが提供される可能性も考えられます。さらにこうしたサービスには、VPNや匿名のOpenAIユーザアカウントも追加されるかもしれません。現時点でサイバー犯罪者が提供しているサービス上でも、そのような取り組みが確認されています。今後、これらのサービスにも約束どおりに実装されてくるかは注視しておく必要があるでしょう。
さらに、多くのユーザが高品質のChatGPTプロンプトのためにお金を払う意欲を示している点も注目に値します。こうした動向から、将来的には「プロンプトエンジニア」という職種が現れる可能性があるという意見も出ています（私たちはこの予測については保留中としています）。そうした中、サイバー犯罪アンダーグラウンド市場では、ChatGPTを用いたプロンプト作成というサービスが新たなビジネスとして拡大するかもしれません。信頼性のあるプロンプトを使って高品質なフィッシングテンプレートやマルウェアコードを開発できるようなツールなどは、サイバー犯罪者にとっての人気製品となるでしょう。その結果、特定の犯罪グループがプロンプトの管理やキュレーションを担当し、その成果を多くの犯罪者が共有するといった体制が実現する可能性も考えられます。
なお、サイバー犯罪アンダーグラウンド市場では、既にディープフェイクの作成サービスが提供されていますが、現状では、被害者を欺くのに十分な品質には達していないようです。将来的にはより高品質なディープフェイクが現れるかもしれませんが、しばらくの間は、オーディオのディープフェイクの方が、映像よりもフェイクニュースや特定の詐欺、CEO詐欺で多く利用されることが予想されます。
結論
AIが現代において大きく注目され、盛んな議論が展開されている中、ChatGPTは、ごく最近に登場した新たなツールである点を理解しておくことも重要でしょう。こうした新しさにも関わらず、私たちは、かつてのAIチャットボット未導入の時代を遥か昔のように振り返っています。技術の進化はあまりにも急速で、わずか3ヶ月後には、現在の評価も早々に時代遅れとなってしまうでしょう。
サイバー犯罪アンダーグラウンド市場におけるAIは、まだ初期段階に過ぎません。私たちが目の当たりにしているAI進歩についての影響の範囲は、他の業界と変わらず、特に目新しいものはありません。一方、サイバー犯罪へのAIの導入は、その進行を大いに加速させ、参入障壁を劇的に低下させています。さらに、サイバー犯罪アンダーグラウンド市場でのAIツールに偽装した詐欺的な広告も、正規ツールと同じくらい頻繁に見られるようになるでしょう。そしてこれらのAIサービスが良質か悪質か、本物か偽物かを判別する手助けとして、サイバー犯罪者たちはChatGPTを利用するようになるかもしれません。
参考記事：
Hype vs. Reality: AI in the Cybercriminal Underground
By: Trend Micro Research
翻訳：与那城 務（Core Technology Marketing, Trend Micro™ Research）