Les risques pour la sécurité liés à l’IA sont introduits via l’implémentation et/ou l'utilisation de la technologie d’IA. Ils comprennent les cyberattaques malveillantes lancées par des acteurs malveillants et les vulnérabilités issues des plateformes et/ou du comportement des utilisateurs.
L’OWASP (Open Worldwide Application Security Project) a identifié une série de vulnérabilités liées à l’IA fondée sur les grands modèles de langage (LLM). Il s'agit notamment des suivants :
Ces vulnérabilités peuvent être regroupées et simplifiées dans les catégories essentielles suivantes :
L'IA repose fortement sur les données disponibles et les entrées des utilisateurs ; elle est donc de plus en plus ciblée par des acteurs malveillants qui cherchent à contourner les défenses numériques et à siphonner des informations sensibles. Une étude récente de Gartner® a révélé les cinq risques émergents les plus cités pour le 1er trimestre 2024. Les deux premiers risques liés à l’IA sont les attaques malveillantes optimisées par l’IA et la désinformation assistée par l’IA. Comme le note Gartner, l’amélioration de l’IA peut « faciliter le phishing et l'ingénierie sociale, ce qui renforce les capacités d’intrusion, la crédibilité et les dommages liés aux attaques. »
Le terme d’IA malveillante désigne les cas où l’IA ne répond pas à l’objectif de l’utilisateur. Cette différence peut être accidentelle, par exemple en cas de défaillance des protections appropriées. Elle peut également être intentionnelle : dans ce cas, les acteurs malveillants peuvent chercher à corrompre le système d’IA d'une cible ou son utilisation, ou ils peuvent tenter d’installer des modèles d’IA malveillants dans un environnement.
L'automatisation de la fraude désigne la création de contenu synthétique de texte, d'audio et/ou de vidéo qui exploite le processus métier via le phishing, l’usurpation d’identité par email (BEC) ou les vidéos et audios deepfakes. L'automatisation de la fraude peut facilement évoluer avec l’IA.
Les systèmes d’IA reposent sur les données. Les données utilisées dans les systèmes d’IA, et les données en direct qu’elles affectent, doivent donc respecter toutes les réglementations en matière de confidentialité et d’utilisation équitable. Il est donc nécessaire de mettre en place une gouvernance des données proactive et efficace pour minimiser les risques.
Les vulnérabilités les plus importantes liées aux LLM sont répertoriées dans le Top 10 de l’OWASP :
En outre, les résumés de chacune de ces vulnérabilités sont disponibles sur le site Web de l’OWASP.
L’IA générative (GenAI) utilise les données passées et présentes disponibles pour aider les utilisateurs. Pour les outils qui nécessitent des invites, il est donc préférable de réfléchir de manière attentive et proactive à ce que vous allez saisir dans le champ d’invite. Certains outils permettent aux utilisateurs de se désabonner de la collecte de données ; par exemple, dans ChatGPT, une option permet de désactiver l’historique de discussion. Selon les politiques de gouvernance et d’utilisation de l’IA appliquées par l’organisme de réglementation du secteur en question, des mesures et/ou des comportements préventifs de ce type peuvent être exigés afin d'assurer la conformité.
L'ajout d’information financières, de spécificités confidentielles sur les logiciels à publier, les informations d’identification personnelles (PII) comme les adresses personnelles et les coordonnées, et/ou les autres données sensibles signifient que les informations sont librement accessibles pour l’application d’IA. Ces données risquent d’être manipulées, partagées avec d'autres personnes dans les recommandations de l’outil en réponse à des requêtes similaires, et/ou volées par des acteurs malveillants si les mesures de protection de l’IA sont contournées. Ce risque est particulièrement vrai lors de l’utilisation d’outils d’IA générative pour l’idéation ou la compilation rapide de grandes quantités de données, en particulier si les mesures de sécurité et de chiffrement en place sont insuffisantes.
ChatGPT, une forme d’IA générative qui offre des réponses textuelles aux invites des utilisateurs, peut être manipulé par les acteurs malveillants pour déguiser et/ou renforcer leurs tentatives de phishing. La plateforme elle-même peut aussi être ciblée pour permettre aux acteurs malveillants d'accéder aux données utilisateur, et potentiellement d’en faire un usage détourné. Il peut s'agir de créer des ébauches d’emails de phishing en utilisant les échantillons de rédaction de l'organisation ou de la personne ciblée, et de corriger les fautes d’orthographe et de grammaire pour paraître plus convaincant. Il existe également un risque de vol et/ou de violations des données utilisateur via l’injection d’invites ou le débridage.
Des risques pour la sécurité découlent également d’une utilisation qui n’implique pas directement des acteurs malveillants. Par exemple, les informations que vous communiquez à ChatGPT risquent d’être utilisées pour entraîner des LLM. Il existe également un risque de chiffrement insuffisant des données, comme l'a démontré l’application ChatGPT MacOS qui se lançait initialement avec des conversations d'utilisateur stockées sous forme de texte brut.
L’API OpenAI en elle-même risque d’être ciblée par les cybercriminels. Bien qu’elle soit conforme SOC 2 et qu’elle fasse régulièrement l’objet de test de pénétration, vos risques ne sont jamais entièrement éliminés, par les cybermenaces évoluent constamment. Un article récent de Soft Kraft explore les risques pour la sécurité des données d’OpenAI de manière très détaillée, et révèle cinq des principaux intérêts pour les utilisateurs d’entreprise :
Avec la prise en charge des applications Microsoft 365, l’IA Microsoft Copilot est facilement disponible pour les utilisateurs. En outre, côté matériel, les derniers PC de marque Copilot+ sont livrés avec des touches Copilot physiques dédiées pour encourager une saisie utilisateur encore plus rapide. Ces mesures d'accès simplifiées peuvent introduire des risques pour la sécurité si des informations sensibles sont fournies à Copilot, tout comme à d'autres outils d’IA générative. Si les autorisations ne sont pas correctement définies, ou si les paramètres de confidentialité appropriés ne sont pas activés pour les documents générés par l’IA, vous pourrez également faire face à des fuites et/ou violations de données confidentielles. Il en va de même pour la gestion des accès utilisateur. Enfin, les attaques sur la plateforme elle-même peuvent permettre aux acteurs malveillants de modifier la manière dont ils accèdent à vos données et les partagent.
Recherches associées
Articles associés