Los riesgos de seguridad para la IA se introducen por medio de la implementación y/o el mismo uso de la tecnología de IA. Estos incluyen ciberataques maliciosos iniciados por actores maliciosos y vulnerabilidades provenientes de la misma plataforma y/o el comportamiento de los usuarios.
OWASP (Open Worldwide Application Security Project) identificó una serie de vulnerabilidades de la IA creada en modelos de lenguaje de gran tamaño (LLMs). Estas incluyen:
Estas vulnerabilidades pueden resumirse y simplificarse en las siguientes categorías:
Al depender en gran parte de los datos disponibles y de la información ingresada por usuarios, la IA se está volviendo un blanco preferido por los cibercriminales para evadir las defensas y obtener información sensible. En una encuesta reciente de Gartner®, se revelaron los 5 riesgos emergentes más mencionados durante el primer trimestre de 2024. Los riesgos relacionados con la IA obtuvieron los dos primeros lugares: ataques maliciosos mejorados con IA y desinformación asistida por IA. Como nota Gartner, el uso de IA puede “facilitar el phishing y la ingeniería social, lo cual permite una mejor intrusión, una mayor credibilidad y da como resultado ataques más dañinos.
“Rogue AI” es cuando la IA no está alineada con los intereses y metas del usuario. Esta falta de alineación podría ser accidental, en el caso de que fallen las guías apropiadas. Pero también podría ser intencional, en cuyo caso los actores maliciosos podrían buscar tergiversar el uso del sistema o el uso de IA de su víctima, o podrían intentar instalar modelos maliciosos de IA dentro de un ambiente.
La automatización de fraudes es la creación de contenidos como texto, audio y/o video para explotar los procesos de negocio ya sea por medio de phishing, business email compromise (BEC) o deepfakes. La automatización del fraude puede incrementar a escala fácilmente con ayuda de la IA
Los sistemas de IA dependen de la información que reciben. Por lo tanto, la información que se usa en los sistemas de IA (y los datos “vivos” con los que entran en contacto) debe de cumplir con normativas de privacidad y de uso legítimo, lo cual lleva a necesitar una gobernanza proactiva y efectiva de datos que ayude a minimizar el riesgo.
Las vulnerabilidades más críticas relacionadas con los LLMs se listan en el Top 10 de OWASP como:
Resúmenes de cada una de estas vulnerabilidades se pueden encontrar en el sitio web de OWASP.
La IA generativa (GenAI) usa información presente y pasada para ayudar a los usuarios. Por lo que, para las herramientas que requieran del uso de prompts, es mejor ser cuidadoso y proactivo sobre lo que uno le solicita al sistema. Algunas herramientas permiten que los usuarios opten por no permitir que el sistema recolecte su información, como la opción que tiene ChatGPT de deshabilitar su historial. Dependiendo de la gobernanza de IA y las políticas de uso que se hagan cumplir en la industria, es posible que medidas preventivas como esta sean un requisito para mantener el cumplimiento.
Ingresar información financiera, especificaciones de software que aún no se lanza al mercado, información personalmente identificable (PII) como direcciones y detalles de contacto, y/u otros datos sensibles significa que la aplicación de IA puede acceder libremente a esta información. Esta información, por lo tanto, está en peligro de ser manipulada, compartida con otros en recomendaciones hechas por la aplicación al responder a preguntas similares y/o robada por actores maliciosos si no se cumplen con las medidas de protección. Esto es un riesgo en particular cuando se usan herramientas de IA generativa para apoyar con la generación de ideas o para compilar grandes cantidades de información, especialmente si no se cuenta con las medidas suficientes de seguridad o la encriptación es deficiente.
Como una forma de IA generativa que entrega respuestas en texto a los prompts de los usuarios, ChatGPT puede verse manipulado por los actores maliciosos para fortalecer sus intentos de phishing. Además, es posible que la misma plataforma se vea utilizada para obtener acceso (y dar mal uso) a la información de los usuarios. Esto puede incluir la creación de emails de phishing usando muestras de escritos hechos por la organización o el individuo que se desea imitar, así como corregir ortografía, gramática y lenguaje para parecer más convincente. También existe un riesgo de robo de datos de usuarios y/o brechas por medio de inyección de prompts o “jailbreaking”.
También existen riesgos de seguridad derivados del uso que no involucran directamente a actores maliciosos. Por ejemplo, la información que recibe ChatGTP puede aprovecharse para entrenar LLMs. También existe el riesgo de que la encripción dedicada para los datos no sea suficiente, como se ha demostrado con la aplicación para MacOS de ChatGPT que lanzó inicialmente con el almacenamiento en texto plano de los chats de los usuarios.
La API de OpenAI tiene el potencial de convertirse en un blanco de los cibercriminales. Aunque sí cumple con SOC 2 y se le hacen pruebas de penetración de forma regular, el riesgo nunca es completamente erradicado debido a que las amenazas siempre están evolucionando. Un artículo reciente de Soft Kraft explora los riesgos de seguridad de datos de OpenAI a fondo, revelando 5 de interés particular para los usuarios empresariales:
Gracias al soporte que brinda a las aplicaciones de Microsoft 365, Microsoft Copilot AI está disponible para su uso. Además, a nivel de hardware, las PCs más nuevas con Copilot+ vienen con claves físicas dedicadas para Copilot para lograr una captura de información aún más rápida. Estas medidas optimizadas de acceso podrían introducir riesgos de seguridad si la información sensible se hace disponible para el uso de Copilot, igual que como con otras herramientas de IA genrativa. En caso de que los permisos no estén configurados correctamente, o si los propios documentos generados con IA no están configurados correctamente, también podría potencialmente enfrentar brechas de datos. Lo mismo aplica para la gestión de los accesos de los usuarios. Por último, los ataques a la misma plataforma podrían significar que los cibercriminales pueden modificar cómo esta puede acceder y compartir su información.
Investigaciones Relacionadas
Artículos Relacionados