エバンジェリスト、ICU高校の生徒と語る～AIの「悪用」と「活用」～

セキュリティ教室で学ぶ生成AI

「スマホネイティブ世代」という言葉が示すとおり、スマートフォンやタブレットを手にしてインターネットを利用することが、子どもたちにとっても日常生活の一部となっています。それはとりもなおさず、最新のテクノロジーに潜む脅威について理解し、考え、対策をとる必要があることを示しています。
トレンドマイクロでは、子どもとその家族向けのセキュリティ教育プログラムに2008年から取り組み、世界中の子ども、その家族、教育関係者を対象に、セキュリティ教室を行ってきました。たとえばSNSの適切な利用、アカウントの乗っ取り、不正サイトなど、対象者に合わせた課題を取り上げ、セキュリティについて考え、学ぶ機会を提供してきています。

このほど、国際基督教大学高等学校（以下ICU高校）において行われた教室は、一味違うものとなりました。
ICU高校では「情報I」のクラスにおいてインターネット利用に関する基礎的な内容をすでに学習しています。より踏み込んだ内容、サイバーセキュリティ企業の現場ならではの講演を聞きたいとのリクエストを受け、取り上げたテーマは、進化する生成AI：セキュリティにおける「悪用」と「活用」となりました。

教育現場で生成AI？法人組織については生成AI導入が盛んに取りざたされているけれど…。そう意外に思われる向きもあるかもしれませんが、実のところ、学校の児童・生徒は「AIネイティブ世代」でもあります。生成AIサービスの認知度や利用経験の調査でも、年代別の利用経験者は10代が最多の26％を占めています^※。また、ICU高校の先生によれば、AIを効果的に利用する生徒もいる一方、安易に「この宿題ならAIがやってくれる」というような声が聞かれることもあるとか。それゆえ、AIについても、活用しつつもその負の側面を理解していく必要があると言えるでしょう。
※MM総研の「生成AIサービスの個人利用率は12.5％」（2024年8月）。

トレンドマイクロは2000年代からAI技術を利用したサイバーセキュリティソリューションを提供しています。一方、サイバー犯罪者が生成AIを含めた最新技術をいかに素早く取り入れ、悪用しているかも熟知しています。当社において長年、最新の脅威動向の調査、ホワイトペーパー執筆などに携わってきた、セキュリティエバンジェリストの岡本勝之（おかもと・かつゆき）が、生成AIの光と影、サイバーセキュリティにおけるその意義を、高校生の皆さんに語りました。

AIの悪用

そもそも「セキュリティ」とは何でしょうか？インターネットは身近であってもセキュリティについてはなじみが薄い生徒の皆さんに、まず岡本は情報セキュリティの3要素を伝えました。「機密性（Confidentiality）」、「完全性（Integrity）」、「可用性（Availability）」をわかりやすく言い換え、「他人に見られないこと、正確であること、いつでも使えること」、これらを守ることがセキュリティだと説明し、イメージをつかんでもらいました。

続いて本日お話したいこととして、新しい技術はすぐに犯罪者に悪用される、しかし犯罪者から守るために活用することができる、というポイントを挙げました。これは言うまでもなく生成AIにも当てはまります。そして、犯罪者によるAIの悪用事例から解説を始めました。

サイバー犯罪者は、「作る」ことと「騙す」ことに生成AIを悪用します。
「作る」とは、マルウェアや不正なツールを作ることを指します。サイバー犯罪のアンダーグラウンドマーケットのフォーラムに、サイバー犯罪に使用できる生成AIを扱う「Dark AI」というセクションが新設され、そこで2023年6月に「WormGPT」というAIチャットボットが発表されました。
日本国内でも2024年5月に、いわゆる「野良AI」を悪用してマルウェアを作成した人物が逮捕された事例が発生しています。
またトレンドマイクロでは、ChatGPTなど正規の生成AIを悪用してフィッシングや詐欺を支援するツールキットの登場も確認しています。

参考記事：
・過度な期待と現実：サイバー犯罪のアンダーグラウンドにおけるChatGPTを中心としたAIの動向
・生成AIでランサムウェアを作成した容疑者の摘発事例を考察

「騙す」とは、生成AIによるディープフェイクを詐欺に用いることを指します。こうしたデマ動画やクローン音声を用い、企業のCEOになりすまして送金を指示したり、「バーチャル誘拐」に使用したりすることで金銭窃取を企みます。
講演では、岡本が自己紹介をする本物の動画と、それをもとに作成したディープフェイク動画を見てもらい、本物かどうか見分けることがいかに難しいかを体感してもらいました。
また、ディープフェイク技術で作成した偽情報はインフルエンスオペレーションにも利用されます。その場合、SNSで拡散させるなど、多くの人々の耳目に触れることが必要ですが、アンダーグラウンドフォーラムにはInstagramやXなどのSNSアカウントを大量作成するツールも登場しています。

こうしたディープフェイクの進歩に驚きや恐ろしさを感じた生徒は多かったようです。「自分の目で見極めることはできないのですか？」という質問が挙がりました。精密なものは人間の目ではわからないと考えたほうが良い、と岡本は答えました。

参考記事：ディープフェイクとは

AIの活用

一方の防御側は、生成AIをどのように活用しているのでしょうか？これには、「脅威の発見」「脅威の予測」「運用アシスト」が挙げられます。
生成AIには、人間にはできないことや、人間にできても時間や労力がかかることを代わりに行ってもらうことができます。例えば、膨大な検知ログを整理・分析して怪しい挙動を見つけ出すこと、過去の統計から将来的に起こり得る脅威を予測すること、さらには、対話型の生成AIにより、セキュリティアラートの説明や対処支援を得ることもできるのです。

トレンドマイクロにおけるAI活用例を紹介します。
●ビジネスメール（BEC）詐欺対策機能「Writing Style DNA」：メール作成者の書き方の癖を分析し、なりすましメールを見破る
●セキュリティ運用アシスト「Trend Companion」：セキュリティアラートについての解説や対処方法を提示、運用担当者の対処を支援する
●ビデオ通話などからディープフェイクを検出する「ディープフェイクスキャン」：ディープフェイクを使ったビデオ通話などを検出し、通話相手に警告を表示する

このように人間の補佐としての役割をAIに担ってもらうという活用方法は、個人の生活においても当てはまることかもしれません。AIとどのように付き合うべきか疑問に思う生徒もいるようで、「これから私たちがAIを使っていくにあたって意識すべきことは何でしょうか？」という質問もありました。自分の補佐をしてもらうというのが、現時点では適切ではないか、と岡本は回答し、「AIは正しくない回答を出すこともあるので、信用しすぎず、別の情報源も当たるとよい」と説明しました。

想いは伝わったか

講演に先立ち、当編集部では岡本に「講演を通してどのようなことを伝えたいか、どのようなことを感じ取ってもらいたいか」を尋ねました。岡本はまず「AIを悪用したフェイクニュースや詐欺などは現在身近にある脅威であり、金銭的被害も起こり得る。インターネット上の情報を鵜呑みにしないこと」を挙げました。

また、高校生たちが、あと数年もすれば社会人になる世代であることを念頭においたうえで、将来組織に属すことになれば「組織のなかでの自分の責任というものがある。自分が騙されたら組織にも影響が及ぶ。自分を守り、自分の組織を守る」という意識を持ってもらえたら、とも語りました。
さらに、「便利なものにはリスクがある。サイバーを利用すること自体にリスクがある。サイバーの世界というのはそういうもの」。「リスクに立ち向かっていく人たちがいるんだな、ということを感じてもらいたい。理系か文系かは関係ない。サイバーセキュリティは技術的なことがわからなくても従事できる。サイバーセキュリティといっても、ほとんどは人間ごとだから」と、長年サイバーセキュリティの最前線に立ってきたエバンジェリストならではの意気込みを語っていました。

講演を聞いた高校生の皆さんはどのような感想を抱いたのでしょうか？
多く寄せられたのは、インターネット上の情報を鵜呑みにしないように気を付けたいという声でした。また、社会に利便性をもたらすはずの生成AIが犯罪にも悪用されている現状や、その犯罪が身近に、かつ巧妙になっていることを知り、驚きや不安、ショックや恐ろしさを覚えたという声も多くありました。

さらには次のような声も。

「人間はいずれAIに負けると言われることがあり、現にAIに奪われ始めている人間の職業もあるが、例えばディープフェイクを見破るソフトの開発など、今の時代だからこそ必要な職業もあるのでは」
「WormGPTなどもまだエラーが多く修正が必要ということは、私たちが正規の生成AIを使う時と同じ。あくまでも人間が主体」
「最近までは動画の証拠が絶対的なものだったのに、それが揺らいでしまった。時代とともに信じるものも変えていかなければならないと感じる」
「技術の悪用というのは、ノーベルの（発明したダイナマイトが兵器に転用された）話に似ている。歴史は繰り返す」
「技術が発展するのはすごいことだと思うが、『倫理』についてはしっかり配慮しなければならない。AIのこれ以上の発展は人類に悪影響しかないのでは。AIをより発展させることで、技術者たちはどのような世界を望んでいるのだろうか。国も『持続可能性』や人類への影響を再度考えたほうが良いと思う」
「もっとこの話題について討論や検討をしていくべき」

これらの意見から生徒の皆さんが、自分とその周辺や現在だけでなく、社会や世界のなかのAI、過去から未来という時間軸のなかのAIなど、より広い視座で考えようとしていることがわかります。彼らが社会に出たとき、AIがどのように発展しているにせよ、「AIの使用により本当に目的は達成されるのか」「AIより人間がすべきことは何か」「組織、国家、国際機関などは何を規制すべきか」などを常に問い続け、討論や検討を重ねていくことを期待します。そして、いずれこうした「AIネイティブ世代」とともに生活し働くことになる上の世代も、自ら学び、考えていくことが求められていると言えるでしょう。