Los riesgos de seguridad de la IA se introducen mediante la implementación y/o uso de tecnología de IA. Estos incluyen ciberataques maliciosos iniciados por agentes de amenaza y vulnerabilidades derivadas de plataformas y/o comportamientos de usuarios.
La Open Worldwide Application Security Project (OWASP) identificó una serie de vulnerabilidades concernientes a la IA integrada en modelos de lenguaje grande (LLM). Estos incluyen los siguientes:
Estas vulnerabilidades se pueden condensar y simplificar aún más en las siguientes principales categorías:
Al depender en gran medida de los datos disponibles y las entradas de usuario, cada vez más la IA se encuentra en el objetivo de los agentes de amenaza para burlar las defensas digitales y apropiarse de información confidencial. En una reciente encuesta de Gartner®, se revelaron los cinco riesgos emergentes más nombrados del primer trimestre de 2024. Los riesgos relacionados con la IA ocuparon los dos primeros puestos en forma de ataques maliciosos impulsados por IA e información errónea con ayuda de IA. Como menciona Gartner, la mejora de la IA puede «facilitar el phishing y la ingeniería social, lo cual permite una mejor intrusión, una mayor credibilidad y ataques más dañinos».
La IA deshonesta es cuando la IA no está alineada con el objetivo del usuario. Esta falta de alineación puede ser accidental, como un fallo de las barreras correspondientes. También puede ser intencional, en cuyo caso los agentes de amenazas pueden buscar trastocar el uso o sistema de la IA objetivo, o pueden intentar instalar modelos de IA alineados de forma maliciosa en un entorno.
La automatización de fraudes es la creación de contenido sintético de texto, audio y/o vídeo que aprovechan los procesos empresariales ya sea mediante phishing, business email compromise (BEC) o vídeos o audios de deepfake. La automatización de fraudes se puede escalar fácilmente con IA.
Los sistemas de IA son dependientes de los datos. Por lo tanto, los datos utilizados en los sistemas de IA, y los datos en directo a los que pueden alcanzar, deben cumplir con todas las regulaciones de uso justo y privacidad, de ahí la necesidad de una gobernanza de datos efectiva y proactiva que ayude a minimizar el riesgo.
Las vulnerabilidades más críticas relacionadas con los LLM aparecen en las 10 principales de OWASP como:
Además, es posible encontrar resúmenes de cada una de estas vulnerabilidades en el sitio web de OWASP.
La IA generativa (GenAI) utiliza datos pasados y presentes disponibles para ayudar a los usuarios. Por lo tanto, para herramientas que requieren entradas, es mejor ser consciente y proactivo acerca de lo que introduce en el campo de entrada. Algunas herramientas permiten que los usuarios cancelen la recopilación de datos, como la opción de ChatGPT de desactivar el historial de chat. Dependiendo de la gobernanza de IA y las políticas de uso aplicadas por el regulador del sector en cuestión, es posible que las medidas preventivas y/o comportamientos como estos sean un requisito para mantener el cumplimiento de normativa.
Introducir información financiera, datos confidenciales en un software pendiente de ser publicado, información de identificación personal como direcciones personales y datos de contacto y/u otros datos sensibles significa que la información es libremente accesible por la aplicación de IA. Estos datos se encuentran en riesgo ser manipulados, compartidos con otros en recomendaciones de la herramienta como respuesta a consultas similares y/o robados por agentes de amenazas si se quebrantan las medidas de protección de la IA. Esto es especialmente un riesgo cuando se utiliza herramientas de IA generativas para la ayuda de ideación o para recopilar rápidamente grandes cantidades de datos, especialmente si no hay suficientes medidas de seguridad y cifrado.
Como una forma de IA generativa que proporciona respuestas de texto a consultas de usuarios, agentes de amenazas pueden manipular ChatGPT para ayudar a ocultarse y/o fortalecer sus intentos de phishing. De forma alternativa, la plataforma en sí misma puede ser el objetivo para obtener acceso, y posterior uso incorrecto, de los datos de usuario. Esto puede incluir la creación de borradores de emails de phishing aprovechando muestras de escritura procedentes de la persona u organización objetivo, así como corregir errores ortográficos, gramática e idioma para parecer más convincente. También hay un riesgo de robar datos de usuario y/o filtraciones mediante inyección de avisos o jailbreaking.
También hay riesgos de seguridad derivados del uso que no implica directamente a agentes de amenaza. Por ejemplo, la información que ChatGPT recibe de usted se puede aprovechar para entrenar la LLM. También hay un riesgo de cifrado de datos insuficiente, tal y como lo demostró la aplicación de MacOS de ChatGPT lanzada inicialmente con chats de usuarios almacenados como texto plano.
La API de OpenAI en sí misma tiene el potencial de convertirse en objetivo de ciberdelincuentes. A pesar de que cumple con la normativa SOC 2 y se somete a pruebas de penetración periódicas, no es posible evitar por completo su riesgo dado que las amenazas cibernéticas están en constante evolución. Un artículo reciente de Soft Kraft explora los riesgos en la seguridad de datos de OpenAI al detalle, revelando cinco riesgos de especial interés para los usuarios empresariales:
Con compatibilidad para las aplicaciones de Microsoft 365, la IA de Microsoft Copilot está rápidamente disponible para los usuarios. Además, a nivel de hardware, los más recientes ordenadores personales con Copilot+ se envían con teclas físicas específicas para Copilot para fomentar incluso un uso más rápido mediante entradas. Estas medidas de acceso optimizado pueden introducir riesgos en la seguridad si la información sensible se vuelve disponible para Copilot, de igual forma que otras herramientas de IA generativa. En el caso de que no se apliquen correctamente los permisos, o si los documentos generados por IA no tienen las configuraciones de privacidad adecuadas activadas, es posible que se vea enfrentando a filtraciones de datos confidenciales. Lo mismo se aplica a la gestión de acceso a usuarios. Por último, los ataques a la plataforma en sí misma pueden permitir que los agentes de amenazas modifiquen la forma en la que se accede a y se comparten sus datos.
Investigaciones relacionadas
Artículos relacionados