AIがセキュリティにもたらすものとは？　立命館大学上原教授にインタビュー

ChatGPTの台頭以降、生成AI技術の民主化が進み、今日まで多くの組織が生成AIを業務に活用する方法を模索・探求してきました。これはサイバーセキュリティの世界においても同様で、現在もAI技術をフォレンジックやトリアージなどに応用する手法が研究されています。一方でそうしたAI技術の浸透に伴い、セキュリティ企業各社はその悪用の可能性についても警鐘を鳴らしてきました。

トレンドマイクロではAI技術とセキュリティの可能性について研究を続けており、先日もAI×セキュリティが進む先をテーマに「2024 Risk to Resilience World Tour Japan」を開催しました。

こうした中、よりセキュリティをとりまくAI技術について多くの知見を集めるべく、立命館大学情報理工学部の上原教授にAIをテーマにインタビューを行いました。

上原教授は2015年に情報セキュリティ文化賞を受賞するなど、長年デジタルフォレンジックなどのセキュリティ関連分野の研究を実施されています。

本稿では上原教授へのインタビューを通して、AI時代に必要とされるセキュリティ技術について紹介します。

AIが技術的負債を読み解く - 生成AIへの期待

上原教授：ノンコードアプリ開発ができるサービスがありますね。あれを見てAIがコード分析をしてくれる機能に需要が生まれるのではないかと考えました。
取材場所に向かう移動中の電車の中、上原教授は何気なく口にされました。

インタビュアー：すみません、それは具体的にはどういったことでしょうか。
思いがけず話が始まり、筆者は急いでメモを取り出しました。

上原教授：ノンコードのアプリが普及することで、誰も中身を知らないコードの集合体が多数発生することになります。そうしたアプリに対して後からコードの修正が必要になったり、コードを解読する必要が発生した場合にAIのサービスが人間にわかるようにコード内容を解説してくれたり、そのアプリが構築された背景を解説してくれる機能があれば、それらの要求に対応できるのではと考えました。

これは、今回筆者が事前に上原教授に聞きたいと考えていた「教授が今後のAI技術に期待すること」の一部でした。こうして今回のインタビューは、取材開始前のフランクな雑談から始まることとなりました。

インタビュアー：確かにそうですね。その技術があれば他にも、よくある特定の担当者に依存した過去の技術遺産や組織が長年抱えているレガシーシステムなども移行できるかもしれませんね。

上原教授：そうですね、他にもソフトウェアのバージョンアップを行うことで業務が停止することを恐れて更新できないようなシステムに対しても、AIがバージョンアップによって問題が出る領域を事前に教えてくれれば、業務停止リスクを抑えて更新作業が可能になります。

トレンドマイクロでは、過去の記事でもAI技術をセキュリティ製品に取り入れてきた、または今後どのように取り入れていくか、などについて説明してきましたが、これはあくまでもサイバーセキュリティ企業としての視点でした。
上原教授の指摘には、より広い視点でのIT資産の活用やセキュリティに関連する業務におけるAIの可能性について示唆されています。

野良生成AIによって偽情報が蔓延る – 生成AI悪用への懸念

場所は変わって、立命館大学の研究室にてインタビューは続きます。

インタビュアー：先ほどは移動中もありがとうございました。引き続きインタビューをお願いします。まずは、生成AIの普及に伴う悪用などの懸念があればご意見うかがえますでしょうか。

上原教授：比較的オープンな生成AIサービスが出てきているので、それらの悪用が常態化するというのはあると思います。MicrosoftやOpenAIなど巨大なクラウドを背景とする生成AIサービスは、悪意があるとか不適切であるということを判断し排除しています。しかしより自由度の高い、ローカル環境などでも機能するAIサービスが展開されることによって、AIの悪用が手軽なものになり、音声、電話、メールなどを駆使した詐欺手法に使用されるでしょう。

インタビュアー：確かに、先日も生成AIサービスを悪用して、マルウェアを作成して捕まった人の事件がありましたね。

上原教授：他にも人が人であることや、個人が個人であることの証明がより難しくなると考えられます。よく私はロボットではありません、というのを証明するためにCAPTCHAの認証システムが使用されますが、ああいったものは生成AIの発達によって通用しなくなります。また、スパムメールなども文体から特定の個人ではないことを判断してきましたが、より難しくなるでしょう。

インタビュアー：よく「オートバイの映っている写真を選択してください」、などのような指示が記載されているものですね。確かに、現在のAIの性能を鑑みるとこの認証も突破されてしまう可能性がありますね。そうなるとスパムメールやボットによる攻撃が現在よりも防ぎづらくなるかもしれませんね。

組織とAIサービスの間で情報が盗まれる – 生成AI利用への懸念

インタビュアー：生成AIに関して、攻撃者側の悪用が加速する一面もありますが、防御側での正規のAI利用が進むことによってリスクが増えるようなケースは考えられますでしょうか。例えばクラウド普及に伴って、多くの組織で設定ミスが発生し情報漏洩が報告されることとなりました。

上原教授：生成AIにおいてもクラウドと同様のことは発生するでしょう。多くの利用者は翻訳ソフトをクラウドサービスだと明確に意識して使っているわけではないですし、翻訳データがどのように使用されるか、までは考えていません。その為、AIに個人情報や機密情報を入力してしまうようなことは起こり得るでしょう。またAIの性能がデータに依存しており、より広くデータを集めることにより性能が向上するという性質を考えれば、1組織が生成AIに入力する大量のプロンプト文は機密情報でなくても価値のある情報資産になります。さらに、1つのビッグデータから生まれるアウトプットも増加しています。例えば自動翻訳サービスで収集されたデータは翻訳の質を上げる以外にも、利用することができます。そういった意味では、生成AIに入力したプロンプト等大量のデータを不正に抜き取る中間者攻撃^*のような脅威が発生するリスクも考えられます。
*悪意のある第三者が特定の二者間の通信へ不正に割り込み、通信データの盗聴や改ざんを行うサイバー攻撃

インタビュアー：トレンドマイクロのリサーチでも、ダークウェブ上でBlackhatGPTというサービスを確認しています。これはOpenAIのAPIに脱獄用プロンプトを送るインターフェースですが、こうしたサービスのように一見ユーザのプロンプト作成を手助けするように見せかけてビッグデータを盗み取るような悪用が起こり得るということですね。

上原教授：そうですね、もちろんサイバー犯罪者同士の騙し合いなども起こり得るでしょう。

日本独自の文化と生成AIを組み合わせる – 生成AIビジネスへの期待

インタビュアー：生成AIによって収集されるビッグデータの重要性、に関する話が出ましたが、国内の産業振興の観点でソブリンクラウドを構築する必要性などが議論されています。AIに関しても同様の観点で国内にデータ蓄積が必要だというような議論がなされるでしょうか。

上原教授：確かに生成AIの使用に伴うビッグデータが海外に流れていくことにはなりますが、GAFAやAlibabaなどTech Giant企業を持つアメリカや中国以外の国は皆同様の課題を持っています。それにビッグデータという点では既に検索エンジンのシェアを大きく海外に取られてしまっています。

インタビュアー：となると、日本語話者向けの生成AIサービスを作ったとしてもあまり産業振興的なメリットは少ないでしょうか。

上原教授：そもそも世界における英語話者と日本語話者の数を比較した際に、圧倒的に数が違うのでデータの量も大きく異なります。そう考えれば、あまり日本語データにこだわっても産業振興にはつながりづらいと言えます。日本は安倍政権時にDFFTのコンセプトをもって信頼を前提にデータの動きを活発化させる、といった方策を提言し、各国に賛同されました。これを踏まえてもデータを国内に留めるよりも、データの流動性を高める方にフォーカスする方が建設的かと思います。例えば、人口の差は埋めがたいところがあるので、日本独自の文化であるアニメや漫画のイラストに特化した生成AIサービスなどであれば、品質の高い元データを多数保有していることからも有意性があると考えます。イラストデータに対する消費市場も日本は大きいので産業振興に繋がりやすいでしょう。」

攻撃者よりも素早く脆弱性を発見 – AI技術への期待

インタビュアー：移動中にも少し伺いましたが今後AI技術に期待することはありますか？

上原教授：AIが脆弱なコードを素早く発見して、対応を促すような機能を実装することで多くの組織の防御力が上がると考えます。厄介なのは、AIに関する生産性を上げる方向での研究は素早く進む一方で、セキュリティ観点が見落とされがちであること。Secure by Designをコーディング段階から実装していくことでようやく、組織は生産性と事業継続性を両立できます。

インタビュアー：確かに、お金を稼ぐなどのポジティブな方向での技術革新は速そうですね。せっかく便利なものができてもそれが同時に弱点になってしまうと、生まれたチャンスを逃すことに繋がってしまいますね。

上原教授：私の研究室では、MITRE ATT&CKのフレームワークをベースに自動でペネトレーションテストを行うことができないか研究をしています。複数の機械学習器を組み合わせてソフトウェア内の脆弱性を見つけることができないか、ということに取り組んでいます。

インタビュアー：今後必ず必要とされる技術ですね。攻撃者側も生成AI技術を活用してくる以上、攻撃者より先に自組織内で弱点を発見できる技術が求められてくるでしょうね。

上原教授：後は、開発者を甘やかさない生成AIにも期待しています。現在の求めているコードが出力され、そのままコピーできるような生成AIサービスでは自分で作ったプログラムのコードが読めない開発者が増えてしまいます。そうではなく、ヒントなどを提供しつつあくまでコーディングは人間ができるような教育的側面を含んだAIサービスがあれば、人間からプログラミングの能力は失われません。AIはネット上にある情報からしか何かを生み出すことはできませんが、人間はネットにない情報からも別のものを生み出すことができます。プログラミングで生み出せるものの幅は非常に広いので、AIで便利になった世の中においてもそういった人間の独創性が発揮できる能力を培っておくことも重要だと考えています。

インタビュアー：便利だからと言って生成AIに完全に任せるのではなく、人間自身も生成AIの技術を用いて成長することが必要なのですね。確かにデジタルの世界の仕事をAIが担ってくれるのであれば、データ化されない多くの情報から新たな価値を生み出せる人材こそ、今後重要性を増す存在になるかもしれませんね。本日は様々なお話を頂き誠にありがとうございました。

AI時代のセキュリティに求められること

今回は上原教授に話を伺い、今後のAI技術によりもたらされる様々な影響について記載してきました。セキュリティ的な観点で言えば、AI技術を悪用した攻撃の増加、AI技術を利用することによるリスクの増加、AI技術がセキュリティにもたらしてくれる期待の3つの点に、AI技術の影響を分類することができます。

上原教授の指摘通りAI技術を悪用した攻撃は、ディープフェイクなどを使用した誤情報の展開、詐欺の巧妙化などが挙げられます。防御側においては、そうしたAI技術によって作成されたコンテンツを検出する技術が求められることとなります。

また、同時にAI技術をうまく業務に取り入れていく中で、従業員等が誤用するリスクを防ぎつつ運用していく必要性があります。プライベートであれ、パブリックであれ、AIサービスに対するアクセス制御やプロンプトのフィルタリング処理などの機能が求められるでしょう。

最後にAI技術を攻撃者に先んじて導入していくことを通して、攻撃の前に防御体制を構築することも必要になります。その際には、より先進的なAI技術が反映されたセキュリティソリューションを選択することで、サイバー攻撃のリスクを低減することができます。

生成AI技術の発展に伴い、トレンドマイクロもビジネスを成長させ、社会においてより安全にサイバー空間でのビジネスが展開されるよう引き続き尽力していきます。