生成AIについてCISOが知っておくべきこと

活発化する生成AIの利用

ResumeBuilderの調査によれば、ChatGPTの公開からわずか6ヶ月後、企業の49%が既にChatGPTを使用しており、30%が利用予定であると報告しました。さらに、早期導入者の93%が利用を拡大する意向を示しています。

企業は実際ChatGPTを何に使用しているでしょうか。文章の作成やコードの生成から顧客サービスの対応まで、あらゆることに利用しています。しかしこれはまだその一部に過ぎず、AIの支持者は、気候変動などの複雑な問題の解決や人間の健康の向上に役立つと主張しています。例えば、放射線科の作業効率を高め、X線、CTスキャン、MRIの結果の精度を向上させ、偽陽性を減らして良い結果につなげることができます。

一方で、新しい技術には新たな脆弱性や攻撃手法などのセキュリティ上のリスクも伴います。AIを巡る熱狂や混乱の中で、これらのリスクはまだ完全に理解されていません。

機械学習(ML)や初期のAIと生成AIは何が違うのか？

機械学習（ML）や初期のAIはすでに長い間私たちの生活に浸透していました。自動運転車、株式取引システム、物流ソリューションなどは、MLとAIの組み合わせによって機能しています。XDRのようなセキュリティソリューションでは、MLがパターンを識別し、行動の基準を確立することで、異常をより検出しやすくしています。AIは監視役として機能し、脅威ではないように見える活動もML分析に基づいて潜在的な脅威を見極め、必要に応じて自動応答をしてくれます。

しかし、MLやシンプルな形のAIは、基本的には与えられたデータでの作業に制限されます。この点が生成AIと異なります。そのアルゴリズムは通常のMLとは異なり、固定または静的ではなく、常に進化し、過去のシステムの「経験」に基づいて構築され、完全に新しい情報を作成することができます。

これまで攻撃者によるMLやAIの悪用は、研究の域を出ていませんでした。それらの機能は特に悪用には値しないと見なされてきたからです。しかし、MLのデータ処理能力と生成AIの創造性が組み合わさることで、はるかに巧妙化された攻撃ツールを作成することが可能となります。今後数年間で、これまで考えられなかったサイバー犯罪が編み出されてしまうことが懸念されており、セキュリティ対策を考慮する上では最新のサイバー攻撃の動向を踏まえて常に対策を検討し続けることが重要です。

セキュリティリスクに関する重要な質問

どこまで人間のコミュニケーションを模倣できますか？

イギリスの数学者でありコンピュータ科学者でもあるアラン・チューリングは、1950年代に十分に高度なコンピュータが自然言語の会話において人間と間違えられるかどうかを検証するテストを考案しました。Googleの大規模言語モデルLaMDA AIシステムは2022年にそのテストに合格し、生成AIに関連する重要なセキュリティ上の懸念の1つ、人間のコミュニケーションを模倣する能力が明らかになりました。

この能力により、生成AIは、詐欺メッセージにありがちなスペルミスを多く含むものとは異なり、洗練されたエラーのないフィッシングのテキストやメールを作成することが可能となりました。また、生成AIは会社のCEOがチームに指示を出すように、特定の人物を送信者として模倣することさえできます。ディープフェイク技術は、人々の顔や声を複製すことで、問題をさらに深刻化させます。

生成AIは一対一の関係だけでなく、対象を拡張させ、多数のユーザと同時にやり取りすることで効率と侵入の成功確率を最大化します。さらに、フィッシング攻撃に使用されるメール文面やサイバー攻撃に使用される不正コードも、AIプログラムによって生成される可能性があります。

AIを介して入力・出力された情報は誰のものですか？

データに対する影響を十分に検証しきれないまま、AIチャットボットの活用に踏み切ることになった企業も少なくなくないのが現実でしょう。特に、機密情報、競争上の秘密、プライバシー法によって規制される記録についてはそうです。現在、公共のAIプラットフォームに入力された機密情報に対する明確な保護措置は現在存在していません。ここには、医療予約のために提供される個人の健康詳細情報や、マーケティング資料の作成に使用される企業の独自情報なども含まれます。

公共のAIチャットボットへ入力された情報は、プラットフォームのエクスペリエンスの一部となり、将来のAIトレーニングに使用される可能性があります。たとえそのトレーニングが人間によって実行され、プライバシーが保護されたものであっても、会話は最初のやりとりを超えて永続化する可能性があります。これはつまり、企業がデータを共有した後、それらを完全に制御する手立てがないということを意味します。

生成AIが伝える情報は信頼できるでしょうか？

AIチャットボットは、「幻覚」とも呼ばれる誤った情報を生成する傾向があります。ニューヨークタイムズの記者がChatGPTに人工知能について最初に報道した際、存在しない1956年の記事まで含めたタイトル付きの記事をリストアップしました。検証なしでAIの出力に頼り、顧客やパートナー、一般の人々と共有したり、ビジネス戦略を立てることは、明らかに企業の戦略的かつ評判に関わるリスクとなります（図）。

図：トレンドマイクロについての質問と回答全文（原文ママ）。正確にはEvaとSteveは兄妹関係である（2023年4月4日現在）
詳細は過去Security Go記事より。

同様に懸念されるのは、生成AIが誤った情報に影響されやすいことです。すべてのAIプラットフォームはデータセットに基づいてトレーニングされており、そのデータセットの完全性が非常に重要となります。開発者は、リアルタイムで更新されるインターネットの情報もデータセットとして使用する傾向にありますが、これによりAIプログラムは正確でない情報にさらされるリスクがあります。その情報は、偶発的な誤りである可能性もあれば、意図的にAIの出力を操作するために悪意を持って投入されたものかもしれません。こうした状況は、安全性とセキュリティの面でも大きなリスクとなります。

生成AIによるセキュリティリスクに対して、どのような対策が取れるでしょうか？

多くのセキュリティ企業は、AIを利用することで、生成AIと戦うために、AIによって生成されたフィッシング詐欺、ディープフェイク、および他の虚偽情報を認識するソフトウェアの開発を計画しています。これらAIによるツールは、今後ますます重要になるでしょう。

しかしながら、企業は自社の警戒も維持する必要があります。クラウドの活用が進んだことにより、企業は分散型のデータ管理とオープンシステムの取り扱いに関する経験を重ねることができましたが、生成AIは、新たなレベルの複雑さが追加されるため、技術ツールと情報に基づいたポリシーを組み合わせての対処が必要になるでしょう。

例えば、顧客の支払いカード情報を他のデータセットから分離して保管されている企業を考えてみましょう。もし、企業内の誰かが公開されているAIプラットフォームを使用して、顧客の過去の支出パターンに基づいて売上成長の機会を特定した場合、顧客の支払いカード情報のデータが誤ってAIのナレッジベースに組み込まれ、他の文脈で現れてしまう可能性があります。

CISOが行う必要のあるセキュリティの重要事項

AI セキュリティの基本として重要なことは、企業データのプライバシーと完全性を保護することです。
AI ツールの使用方法に関する賢明なポリシーの策定、そのポリシーに沿ったAI ツールへのアクセスを従業員に促すことが重要となります。

AIポリシーについて、考慮すべき事項を4つあげさせていただきます。
１. 機密情報や個人情報を、企業の管理外にあるパブリック AI プラットフォームやサードパーティソリューションと共有することを禁止しましょう
セキュリティ上のリスクが明確になるまでは、ChatGPT やその他の公開 AI ツールに情報を共有するということは、公開サイトやソーシャルプラットフォームに投稿していることと同レベルのことのように取り扱うよう、企業は従業員に指導する必要があると Gartner は述べています。

２. 企業が持つ様々な種類のデータについて、データの分類ルールを明確化・維持しましょう
個人を特定できる情報や法的または規制上の保護対象となる機密度の高いデータが、一般に共有される可能性のあるデータと決して結合されないように徹底します。

３. AI プラットフォームによって生成された情報の検証・事実確認を徹底して行うようにしましょう
Gartner社は以下のように警告しています。
ChatGPTについて言えば、2021年9月までのデータでトレーニングされているため、それ以降に発生したイベントに関する知識が限られています。
導き出された回答は真実性を担保しておらず、根拠を評価することなく、回答の内容を予測するように訓練されています。そのため人間による評価が必要不可欠です。

４．企業にて、AIツールの所有や使用を許可していなくとも、リスクを有する可能性があると考えましょう
従業員やパートナー、顧客が公共のAIプラットフォームを利用し、意識的にあるいは無意識に企業の機密情報をプラットフォームに提供している可能性があります。

生成AIはサイバーセキュリティの観点から考慮すべき事項が多くあることは明らかで、この新しい技術に関する議論は続いています。生成AIに関するセキュリティ対策の動向については、引き続き注視が必要です。

トレンドマイクロにおけるAI技術の活用

当社は統合サイバーセキュリティプラットフォーム「Trend Vision One」をお客様に提供しており、2023年7月より生成系AI「Trend Vision One Companion（トレンドビジョンワンコンパニオン）」の搭載を開始しております。サイバー攻撃の侵入口や、悪用された脆弱性、マルウェアの動作や拡散の原因など、専門的なセキュリティアラートに関する、ユーザの質問に対して、Trend Vision One Companionがリアルタイムに詳細を解説します。