サイバー脅威
ChatGPTにも繋がるCodexとサイバー攻撃④：Codexは攻撃者の活動に悪用できるのか？
このブログシリーズでは、その後の「ChatGPT」に繋がったOpenAIの自然言語処理モデル「Generative Pre-trained Transformerの第3バージョン（GPT-3）」の機能を持つ「Codex」についてさまざまな視点を交えて解説し、開発者だけでなく、攻撃者への影響も含めたセキュリティ観点をもとに、その機能やリスクについて評価します。
このブログシリーズでは、その後の「ChatGPT」にも繋がる「Codex」についてさまざまな視点を交えて解説し、開発者だけでなく、攻撃者への影響も含めたセキュリティの観点にもとづき、その機能やリスクについて評価します。全4シリーズで構成されており、今回のブログはシリーズ第4回目となります（第1回目、第2回目、第3回目もご参照ください）。
- GPT-3、GPT-4：自然言語を理解し生成する文章生成モデル、GPT-3は後にGPT-3.5をリリース
- Codex：GPT-3をベースにしたコード生成モデル
- ChatGPT：GPT-3.5、GPT4をベースにした「対話型」文章生成モデル、Codexが自然言語を入力してコードを出力することに対して、文章による対話型でコードを生成することも可能
また、「ChatGPTがもたらすサイバーセキュリティ業界への影響」のブログについてもご参照ください。
Codexの主な用途は、コーディング作業を支援することです。このツールを用いることで、コーディング時の繰り返し作業や、新しい技術の習得、頻繁に発生する問題の解決など、プログラマが費やすべき時間と労力を削減することが可能になります。
Codexによって提供される機能は、熟練したプログラマだけでなく、初心者や勉強中の学生など、アマチュアプログラマにとっても有益なものです。まず、熟練したプログラマは、Codexを用いることで、ボイラープレート型コード（定型コード）の作成に費やす時間が短縮されることを実感するでしょう。一方、アマチュアプログラマにとっても、コードベースをもとに蓄積した知識に基づいて生成、提示されるコードは、不足している経験を補う上で役立つものです。
それでは、経験の浅い、もしくはより高度な技術を勉強中の「攻撃者」にとっては、Codexなどのツールによるコード支援機能でどのようなメリットが得られるでしょうか。今回はこの疑問に答えるため、自分自身が攻撃者の見習いになったことを想定し、Codexが技術習得にどのように役立つのかを調査しました。
キーロガーの実装
はじめに、Codexに対してキーロガーの実装を要求してみました。図1に示す通り、Codexはこの要求を文字通りに受け止め、キー入力を検知して、その結果をPythonのログ機能によって出力するコードを生成しました。これは、かつての英語版Officeの標準アシスタント「クリッパー（Clippy）」を彷彿させる機能でしたが、期待していたアウトプットではありませんでした。
次に、「プロセスメモリの内容をファイルに書き出させる」という具体的な指示も追加して、キーロガーの実装を再度Codexに要求しました。この具体的な内容に対しても、Codexは期待通りには動作しませんでした。図2に示す通り、今回生成されたコードは、「キーロガー」の概念から逸脱した、より広義な「スパイウェア」を彷彿させる内容であり、その典型機能であるスクリーンショット窃取を行う処理が実装されていました。
「キーロガー」と言うよりも広義な「スパイウェア」の典型的な機能を提示したことは、想定していなかった新たな発見に繋がる、偶然の産物という意味ではかなり興味深い結果であったといえます。また、経験の浅い攻撃者にしてみると、Codexが提示したコードを利用または勉強することで、高度なスパイウェア開発に繋がる技術を段階的に習得していくことも可能でしょう。このことから、Codexをはじめとするツールには、いわば「指導者的な価値」があることが示唆されます。現状ではまだ、図2で示したような関連機能はランダムにしか提示されないため、このメリットを積極的に活用することはできません。しかし将来的には、Codexのようなツールによって、ユーザの要求や振る舞い、全般的な状況を判断の上で、こうした関連機能をランダムではなく意図的に提示できるようになることも考えられます。
オンラインバンキング、通販、送金プラットフォームに対する攻撃コードの生成
より巧妙な攻撃手法として、金銭目的で広く使用されるWebインジェクション攻撃などへの支援機能はどうでしょうか。この手法の場合、攻撃者はWebページ表示前のタイミングでHTMLやJavaScriptの追加コードを埋め込み、これによってユーザの入力情報をWebサーバへの送信直前に書き換えたり窃取したりすることが可能になります。この手法で考えられる攻撃シナリオは、商品購入時の支払先情報が画面内では正しく表示される一方、販売側のサーバへ送信直前に攻撃者のアカウントによって書き換えられてしまうというケースです。他にも、Webサイトのフォーム内に入力されたクレジットカード情報や、デバイスに保管された認証情報が、正規の金融機関やWebポータルだけでなく、攻撃者が管理するサーバにも送信され、これら機密情報が窃取されてしまうケースも考えられます。
上記の攻撃シナリオを踏まえ、Codexが金融関連会社に関する情報を取得してWebインジェクションのコードを実装できるかどうかを調査しました。この際、Codexに与える入力キーワードとして「会社名＋web login inject」の形式を用いました。
調査の結果、図3上部の例が示すとおり、オンラインバンキングサイトの正しいドメイン情報を特定して、その認証情報関連のクッキーを傍受するコードが生成されました。わずか数個のキーワードを用いただけで、経験の浅い攻撃者にとっても初期の足掛かりとして役立つコードを生成できることが分かりました。
さらに図3下部の例が示すとおり、入力文中の会社名のみを変更してみると、生成されたコードは、関数名は指定の会社名を反映しているものの、処理内容はURLを引数として受け取って各関連タスクを実施する形であり、図3上部の例よりも汎用的な作りとなっていました。
続いて、Codexに対して、ブルートフォース攻撃の手法で不正ログインを行うコード生成を要求してみました。使用した入力キーワードは「code brute force paypal」でした。この場合、図4のとおり、ログインURLと認証ホームディレクトリは関数内で正しく定義されていましたが、リダイレクト先URLは既に使われなくなった古いものでした。また、関数の内容自体は、今回の要求に沿った内容であり、ブルートフォース形式でパスワードを辞書ファイルから逐次抽出し、これにユーザエージェントとログインを加えたフォーム情報を標的のサーバに送信し、その応答を分析する作りとなっていました。さらに、エラーハンドリングの分岐処理も含まれていました。
ただし、実際の攻撃シナリオでは、標的側の攻撃検知システムや侵入防御システム（IPS）を回避するため、認証IDや発信元IPアドレスをその都度変更させたり、アクセス毎にランダムな遅延時間を設けさせたりするなどの追加実装が必要かも知れません。つまり、今回生成されたコードのままでも概念実証というレベルでの機能は実現されていますが、より実用的な場面で攻撃に使用するためには、それぞれの環境にあわせた機能の拡張や調整が別途必要になるでしょう。
フィッシングページと不正なSEO対策
攻撃者が経験を問わず用いる技術として、フィッシング攻撃やソーシャルエンジニアリングの手法が挙げられます。そこで、Codexがこれらのタスクをどの程度まで実行できるのかについても調査してみました。
結論から言うと、現時点でのCodexは、フィッシングページを作ることに関してあまり得意ではないようです。この調査では、PayPalログインページに似た外観を持つものの、実際には攻撃者のサーバにアクセスさせるWebページの作成をCodexに要求しました。しかし、その結果は図5に示す通り、PayPalとは似ても似つかない外観を持ちながら、実際には正規のPayPalにアクセスさせる作りとなっていました。ただし、こうした機能的な不備は一時的な現象と考えられます。AIや言語モデルの成長を鑑みると、わずかなコマンドだけで完全なフィッシングページを生成することも、それほど遠くない未来に実現するかも知れません。
一方、攻撃者が用いるブラックハットSEO対策として、不正なサイトの検索順位を上げるために特定のキーワードが多く含まれるWebページを多量に生成する手法が挙げられます。この場合、生成されたほとんどのページは、脈絡のない言葉や無意味で文法的にも誤った文で埋め尽くされていますが、最近ではほとんどの検索エンジンで検知可能となっています。このため、検索エンジン側でこれらのページを排除することは、それほど難しくはありません。文法的に誤りがあることや、テンプレートから抜粋された文章ばかりが並べられていること、外観が洗練されていないことなどから、ある程度まで機械的に識別可能なためです。
しかし攻撃者は、上述の課題を解決するため、Codexの利用を考えるかも知れません。Codexの優れた文章生成力によって作られたページは、文法的に正しく、自然な形でキーワードが埋め込まれており、内容の真贋についても識者でない限り見抜けない可能性があります。そして、そのようなページが多量に生成されてしまうことが懸念されます。図6の上部は、意味のない言葉が並べられた、不正なSEO対策が施されたページの典型例です。一方、図6下部は、Codexで生成された比較的意味の通るページであり、わずかな労力でこのようなページを生成することが可能です。
同様に、英語が母国語でない攻撃者が不正なページを作成する際に、スペルミスや不自然な文体に苦労する傾向があります。こうした場面でCodexを使用することにより、適切な入力キーワードを与えるだけで、流暢でネイティブのように自然な英文を作成できるでしょう。また、そのように作成したフィッシングページは、攻撃者本人が母国語で記述してからGoogle翻訳で英訳したものに比べてより自然な内容になる可能性があります。
「Codexとサイバー攻撃」シリーズの総括
今回の一連の調査を通して、OpenAIのCodexは、多くの機能を提供し、開発者による作業時間の短縮や、プログラミング言語の習得に役立つことが確認されました。一方で、機能的な制約や、セキュリティ面での懸念事項が存在することも明らかとなりました。特に攻撃者は、Codexの機能に目を付け、さまざまな攻撃での悪用を模索する危険性があり、ユーザや企業はこれらのリスクについて理解し、警戒する必要があります。
- Codexは低級言語のコード生成に関しては現状不完全であるが、Webクローラの実装、データやコードの解析処理には役立つことが確認された。既存のコードを理解し、バイナリの解析にも利用できる。また、バイナリで書かれたコードについて、その内容を含むバイナリ形式のファイルをWindowsおよびLinuxそれぞれについて特定できる。さらに、Webサイトの解析やクローリングを行うコードの実装も可能である。こうした機能は、経験の浅い攻撃者にとっては、不正なシステム開発を一歩前進させる効果がある。
- ただし、Codexの性質としてその動作にはランダム性があるため、コード生成を完全に自動化するのは困難である。類似もしくは同一の入力文に対して、異なる内容のコードが生成される場合もある。そのため、攻撃意図の有る無しに関わらず、いかなるタイプのコード生成についても、Codexによる場合は監視や修正に際して必要以上の労力が必要となり、結果として、従来からの手法を用いた方が同じ目的を容易に達成できる可能性もある。
- 今回のブログで示したように、キーロガーやWebインジェクション、フィッシングページの生成、フィッシングメール内の文法修正など特殊な目的においても、Codexは攻撃者に有益な情報を提供し、作業時間の短縮も図られる。
今回の調査から得られた結論を一言で述べるならば、Codexは、攻撃者にとって「諸刃の剣」になります。経験豊富な攻撃者の場合、Codexのコード支援機能は便利に見えるものの、依存するのは危険であり、むしろ今のところはこれまで通り自作の優れたツールや、それぞれの攻撃活動に即した既存の専用ツールを利用した方が安全でしょう。一方、経験の浅い攻撃者の場合は、Codexが経験豊富な攻撃者と同等の仕事をしてくれると見なすのは危険であり、むしろ現時点では、自分たちが取り組む攻撃活動を一歩前進させ、新しい技術の習得にも役立つプラットフォーム程度のものと捉えておくべきでしょう。
本ブログシリーズは、全4シリーズで構成されており、今回のブログはシリーズ第4回目となります。第1回目、第2回目、第3回目もご参照ください。
また、「ChatGPTがもたらすサイバーセキュリティ業界への影響」のブログについてもご参照ください。
参考記事：
• 「Codex Exposed: Helping Hackers in Training?」
By: Forward-Looking Threat Research Team
翻訳：清水 浩平（Core Technology Marketing, Trend Micro™ Research）