Os riscos de segurança da IA são introduzidos através da implementação e/ou uso da tecnologia de IA. Isso inclui ataques cibernéticos maliciosos iniciados por agentes de ameaça e vulnerabilidades resultantes do comportamento da plataforma e/ou do usuário.
O Open Worldwide Application Security Project (OWASP) identificou uma série de vulnerabilidades relacionadas à IA baseada em modelos de linguagem (LLMs). Esses incluem os seguintes:
Essas vulnerabilidades podem ser condensadas e simplificadas ainda mais nas seguintes categorias principais:
Sendo amplamente dependente dos dados disponíveis e da entrada do usuário, a IA está se tornando cada vez mais alvo de agentes de ameaça para violar defesas digitais e extrair informações sensíveis. Em uma pesquisa recente da Gartner®, os cinco riscos emergentes mais citados do 1º trimestre de 2024 foram revelados. Os riscos relacionados à IA ocuparam os dois primeiros lugares na forma de ataques maliciosos aprimorados por IA e desinformação assistida por IA. Como observa a Gartner, o aprimoramento por IA pode “facilitar phishing e engenharia social, o que possibilita uma melhor intrusão, maior credibilidade e ataques mais prejudiciais.”
IA Rebelde é quando a IA está desalinhada com o objetivo do usuário. Esse desalinhamento pode ser acidental, como uma falha nas proteções adequadas. Também pode ser intencional, caso em que agentes de ameaça podem tentar subverter o sistema de IA de um alvo ou usar, ou ainda tentar instalar modelos de IA maliciosamente alinhados dentro de um ambiente.
A automação de fraude é a criação de conteúdo sintético de texto, áudio e/ou vídeo que explora processos de negócios, seja por meio de phishing, comprometimento de e-mail corporativo (BEC) ou vídeos ou áudios deepfake. A automação de fraude pode escalar facilmente com a IA.
Sistemas de IA são dependentes de dados. Portanto, os dados utilizados nos sistemas de IA—e os dados em tempo real que eles manipulam—devem cumprir todas as regulamentações de privacidade e uso justo, o que justifica a necessidade de uma governança de dados proativa e eficaz que ajude a minimizar riscos.
As vulnerabilidades mais críticas relacionadas aos LLMs estão listadas pelo OWASP Top 10 como:
Além disso, resumos para cada uma dessas vulnerabilidades podem ser encontrados no site da OWASP.
A IA generativa (GenAI) utiliza dados disponíveis do passado e do presente para ajudar os usuários. Portanto, para ferramentas que exigem prompts, é melhor ser consciente e proativo sobre o que você insere no campo de prompt. Algumas ferramentas permitem que os usuários optem por não participar da coleta de dados, como a opção do ChatGPT de desativar o histórico de chat. Dependendo das políticas de governança e uso da IA impostas pelo regulador da indústria em questão, medidas e/ou comportamentos preventivos como esses podem ser um requisito para manter a conformidade.
Inserir informações financeiras, detalhes confidenciais sobre softwares que ainda não foram lançados, informações pessoais identificáveis (PII) como endereços pessoais e dados de contato, e/ou outros dados sensíveis significa que essas informações estão acessíveis livremente pela aplicação de IA. Esses dados estão em risco de serem manipulados, compartilhados com outros em recomendações da ferramenta em resposta a consultas semelhantes, e/ou roubados por agentes de ameaça se as medidas de proteção da IA forem violadas. Esse é um risco particularmente elevado ao usar ferramentas de IA generativa para auxiliar na geração de ideias ou compilar rapidamente grandes quantidades de dados, especialmente se medidas de segurança e criptografia insuficientes não estiverem em vigor.
Como uma forma de IA generativa que fornece respostas em texto a prompts de usuários, o ChatGPT pode ser manipulado por agentes de ameaça para ajudar a disfarçar e/ou fortalecer suas tentativas de phishing. Alternativamente, a plataforma em si pode ser alvo de ataques para obter acesso e, potencialmente, fazer mau uso dos dados dos usuários. Isso pode incluir a redação de e-mails de phishing aproveitando amostras de escrita da organização ou indivíduo alvo, além de corrigir erros de digitação, gramática e linguagem para parecer mais convincente. Também há um risco de roubo de dados do usuário e/ou violações por meio de injeção de prompts ou jailbreak.
Também existem riscos de segurança decorrentes do uso que não envolvem diretamente agentes de ameaça. Por exemplo, as informações que o ChatGPT recebe de você podem ser utilizadas para treinar LLMs. Há também o risco de criptografia de dados insuficiente, como demonstrado pelo aplicativo ChatGPT para MacOS, que inicialmente foi lançado com chats de usuários armazenados como texto simples.
A API da OpenAI em si tem potencial para ser alvo de cibercriminosos. Embora seja compatível com o SOC 2 e passe por testes de penetração regulares, seu risco nunca é completamente eliminado, pois as ameaças cibernéticas estão em constante evolução. Um artigo recente da Soft Kraft explora os riscos de segurança de dados da OpenAI em detalhes abrangentes, revelando cinco de particular interesse para usuários corporativos:
Com suporte para aplicativos do Microsoft 365, o Microsoft Copilot AI está facilmente disponível para os usuários. Além disso, no nível de hardware, os mais recentes PCs com a marca Copilot+ são enviados com teclas físicas dedicadas ao Copilot para incentivar uma entrada de usuário ainda mais rápida. Essas medidas de acesso simplificado podem introduzir riscos de segurança se informações sensíveis forem disponibilizadas ao Copilot, assim como ocorre com outras ferramentas de IA generativa. Se as permissões não forem configuradas corretamente ou se os documentos gerados por IA não tiverem as configurações de privacidade adequadas ativadas, você pode se deparar com vazamentos e/ou violações de dados confidenciais. O mesmo se aplica à gestão de acesso dos usuários. Por fim, ataques à própria plataforma poderiam permitir que agentes de ameaça modificassem a forma como ela acessa e compartilha seus dados.
Pesquisas relacionadas
Artigos Relacionados