セキュリティ製品の第三者評価はどう読み解けばよいのか？

セキュリティ製品の導入ステップ

現在、法人組織にとってセキュリティ製品の利用は、もはや企業経営と切っても切り離せないものと言えます。なぜなら、サイバー攻撃によるダメージは、事業の停止など経営を揺るがす事態に発展する可能性があるからです。それでは、法人企業はセキュリティ製品の採用をどのように考えればよいのでしょうか？　法人企業では以下のようなステップで検討を進めるケースがあると思います。

１．自社の重要資産を洗い出し、何を最も保護するべきかを明確にする。その上で、現状の脅威やリスクを分析し、行うべきセキュリティ対策の優先度を決める。
２．強化したいセキュリティのポイントを明確にし、どのような対策手法があるのかを洗い出す。
３．複数のセキュリティ会社を比較し、自社に適したセキュリティ製品を導入する。

今回は「３．複数のセキュリティ会社を比較し、自社に適したセキュリティ製品を導入する」部分において、参考にすべき、AV-Test、AV-Comparatives、IDC、ガートナー、Forrester、MITRE Engenuityなどが行うセキュリティ製品の第三者評価をどう読み解けばよいのかを解説します。

「検知率○○％」「業界No.1」のセキュリティ製品です。という謳い文句をご覧になったことがある方は多いのではないでしょうか。このような数字を用いた表現は非常にわかりやすい一方で、その数値の背景にある意味を適切に理解する必要があります。セキュリティ製品を評価する指標は数多く存在します。本稿では、どのような評価が行われているのか、その評価が何を意味するのかなどを解説することで、セキュリティ製品を選定する上での一助になれば幸いです。

マルウェアや脆弱性の検知率

セキュリティ製品によるマルウェアの検知率を評価する手法は、主にサイバーセキュリティで検討すべき脅威がマルウェア中心だった時代から行われているものです。世の中に拡散されているマルウェアを各セキュリティ会社が提供するセキュリティ製品で検索すると、製品毎にどれだけのマルウェアを検知できるのかがわかります。2000年当時は、1つの著名なマルウェアが世界中にばらまかれていたため非常にわかりやすい指標だったと言えます。このようなマルウェアの「検知率」を評価する手法は、2010年頃から変わってきました。従来は著名なマルウェアを集めてどれだけ検知できたのかを評価することが中心でしたが、このような著名なマルウェアをいくら検知しても現実に即していないのではないか、という意見が出てきました。実際、2010年当時は実際のサイバー攻撃に用いられないようなものも含めて1秒に1つ以上のマルウェアが発生しており、in the wild、つまり実際のサイバー攻撃に使われているマルウェアや攻撃を検知すべきではないか、という議論がセキュリティ業界の中で出てきました。具体的には、AV-Test、AV-Comparativesなどセキュリティの研究機関が今現実に行われているサイバー攻撃で使用されるマルウェアをできるだけリアルタイムに収集し、各セキュリティ会社の製品で検知できるかを評価するというものです。さらには、マルウェアの検知率だけではなく、マルウェアが通信する不正なサーバへのアクセスをセキュリティ製品でどれだけブロックできるのか、といったことも評価するようになってきました。

このような調査はWindows、Mac、Androidなど様々なプラットフォーム毎に数か月毎など定期的に実施されていたり、セキュリティ会社やメディアからの依頼をもとに実施することもあるため、あるタイミングの評価だけを切り取ると様々な会社が「業界No.1」であることを述べられることになります。このようなマルウェアや脆弱性の検知率を評価するようなレポートを参考にする場合、あるタイミングを切り取った「検知率○○％」「業界No.1」という表現に惑わされず、継続的に高い評価を得られているか否かを確認することが重要と言えます。

Av-testによる評価の一例
https://www.av-test.org/en/antivirus/business-windows-client/

セキュリティ市場と製品シェア

セキュリティ関連の調査会社は、エンドポイントセキュリティ、クラウドセキュリティなどのカテゴリ毎に各セキュリティ製品のシェアをレポートとして発行することがあります。例えば、エンドポイントセキュリティでA社が30%のシェア、B社が20%のシェアを獲得している、といったようなものです。これは調査会社が、当社のようなセキュリティ製品を提供する会社や販売する会社にヒヤリング等を行いレポートに纏めたものです。端的に言うと、どれだけ多くのユーザがその会社の製品を利用しているのか、という実績を把握できます。また、製品のシェアだけではなく、その製品を利用しているユーザにヒヤリングを行い、何割の方が該当製品を他社に勧めるかといった調査をしているケースもあります。

トレンドマイクロ、2021年Endpoint Protection Platform分野のGartner Peer InsightsにおいてCustomers Choiceの１社に選出
～同リサーチ内で93%の評価者がトレンドマイクロ製品を推奨～
https://www.trendmicro.com/ja_jp/about/topics/2022/nt-20220117-01.html

製品や機能の評価

Forresterを代表する調査会社は、エンドポイントセキュリティ、クラウドセキュリティ、XDR（Extended Detection and Response）など複数のカテゴリを設け、それらのカテゴリに含まれるセキュリティ会社が提供する製品の機能やビジョンを評価しています。例えば、XDRというカテゴリの場合、「検知」「製品アーキテクチャ」「脅威の探索」「製品ビジョン」など複数の項目を評価し、該当の製品を提供するセキュリティ会社がリーダーのポジションに位置するか、チャレンジャーなのかといった評価を行います。

Forrester XDR 評価レポート、14ベンダーをスコアリング
https://resources.trendmicro.com/jp-docdownload-form-m395-web-forrester-report-xdr.html

サイバー攻撃の実践的な対策をはかる指標

近年セキュリティに携わる方はMITRE（マイター）という言葉を目にする機会が多くなってきたのではないでしょうか。
MITREは、米国の連邦政府による資金提供で運営されている非営利組織です。本機関は、特定のサイバー攻撃者グループ毎に過去に行われた攻撃方法を纏めています。また、共通脆弱性識別子「CVE」を採番しているのもこの機関です。
MITREとは異なる組織であるMITRE Engenuityは、MITREが纏めている攻撃手法に則ってセキュリティ製品やセキュリティオペレーションを評価しています。マルウェアや脆弱性の検知率を前述しましたが、MITRE Engenuityが実施する評価はさらに実践的なものです。

法人組織にサイバー攻撃が行われる場合、様々なステップで攻撃が行われます。例えば、悪用可能なVPN（Virtual Private Network）機器の脆弱性など公開システムの侵入口を偵察し（Reconnaissance）、VPN機器の脆弱性を悪用し、組織内部に初期アクセスする、もしくはアカウント情報を窃取する（Initial Access）。その後、侵入した端末上で内部活動に必要なツール実行のため、権限昇格（Privilege Escalation）を行ったり、より権限がある端末や重要なデータが格納されたサーバへ横展開（Lateral Movement）して、目的の達成に向けて不正な活動が行われます。

MITREは、当社をはじめとしたセキュリティ会社が公開している攻撃の解析情報をもとにこれらの各段階（偵察、初期侵入、権限の昇格、横展開など）で具体的にどのような手法が用いられるのかをWebサイト上に公開しています。また、どのようなマルウェアや脆弱性を悪用しているのか、といった情報も含まれます。

【MITRE EnterpriseのTactics（戦術）（※2022年4月、v10.1時点）】
・Reconnaissance：偵察活動
・Resource Development：リソース開発
・Initial Access：初期アクセス
・Execution：実行
・Persistence：永続化
・Privilege Escalation：権限昇格
・Defense Evasion：防御回避
・Credential Access：認証情報アクセス
・Discovery：探索
・Lateral Movement：横展開
・Collection：収集
・Command and Control：コマンド＆コントロール
・Exfiltration：持ち出し
・Impact：影響

MITREは特定のサイバー攻撃者グループ毎に過去に行われた攻撃方法も纏めています。
図１は、ランサムウェア攻撃者グループ「REvil」が利用する攻撃手法をMITREが纏めるTactics（戦術）毎に整理したものです。法人組織は自社へのサイバー攻撃を可視化する際、これらのポイント毎に攻撃の有無などを確認することでセキュリティ対策の強化を検討できます。

ランサムウェア攻撃者グループ「REvil」に関する詳細は以下をご覧ください（英語）。
https://www.trendmicro.com/vinfo/us/security/news/ransomware-spotlight/ransomware-spotlight-revil

※図1は、文字が小さく見えづらくなっております。詳細は上記のリンクから「MITRE tactics and techniques」の箇所をご覧ください。

MITRE Engenuityが実施するサイバー攻撃に対する評価テスト「ATT&CK® Evaluations」は、実在するサイバー攻撃者グループの攻撃手法に則り、サイバー攻撃を模擬的に行うことで製品やセキュリティオペレーションの評価を行います。具体的には、事前にMITRE Engenuityが用意したインフラ上にセキュリティ会社が自社の製品をセットアップします。実際に模擬攻撃を行う当日は、MITRE Engenuityが攻撃を行い、実際にセキュリティオペレーションを行うセキュリティ会社のエンジニアが24時間体制で適宜セキュリティ製品のチューニング（設定変更）や監視を行い、サイバー攻撃の可視化や検知、対処に取り組みます。実際にサイバー攻撃者グループが行う手法を模倣して攻撃を行うこと、セキュリティ会社が提供する製品が実装される模擬環境に対してサイバー攻撃を行うこと、製品による防御だけではなくセキュリティオペレーションの能力も評価されることなどにより、近年セキュリティ業界においてはMITRE Engenuityが実施するテストで高評価を得られたことが非常に大きなアドバンテージになっています。

但し、実際にMITRE Engenuityによる評価結果は、自社の製品や運用を知り尽くしたセキュリティ会社が行った結果ということは念頭に置く必要があります。そのため、同じ製品を利用しても同じ結果が出るとは限らない、単純な優劣ではなく、受け手側が自分のレベルや環境に適した製品を選ぶ基準として参考にすることが望ましいと言えます。

MITRE Engenuityのサイバー攻撃に対する評価テスト「ATT&CK® Evaluations」で高評価を獲得
～サイバー攻撃者「Carbanak」「FIN7」を模した攻撃に対する検出・可視化・対処～
https://www.trendmicro.com/ja_jp/about/topics/2021/nt-20210824-01.html

まとめ

今回大きく4つのセキュリティ製品の評価を解説しましたが、そのどれか1つだけを参考にして選定すべきではありません。様々な評価を参考に、自社に行われているサイバー攻撃への対処ができるか否か、実際問題運用していけるかどうか、管理画面の使い勝手なども踏まえて自社に適したセキュリティ製品を選定頂けると幸いです。