При внедрении и при использовании технологии ИИ возникают риски безопасности. К ним относятся кибератаки, инициированные злоумышленниками, и уязвимости, возникающие в результате поведения платформы или пользователей.
Некоммерческая организация OWASP (Open Web Application Security Project) выявила ряд уязвимостей ИИ, построенного на больших языковых моделях (LLM). К ним относятся:
Эти уязвимости можно упрощенно разбить на следующие основные категории:
ИИ чрезвычайно зависим от доступной ему информации и от данных, которые вводят пользователи, поэтому ИИ всё чаще становится мишенью для злоумышленников, которые пытаются взломать цифровую защиту и похитить конфиденциальную информацию. В ходе исследования, которое недавно провела компания Gartner®, были выявлены пять новых рисков, самых распространенных в 1 кв. 2024 г. Два первых места в списке заняли риски, связанные с ИИ — атаки с применением ИИ и дезинформация с помощью ИИ. Gartner отмечает, что усовершенствование ИИ может облегчить применение фишинга и социальной инженерии, повысив к ним доверие жертв — это приведет к более успешным вторжениям и более разрушительным атакам.
Rogue AI («вышедший из подчинения ИИ») — это ситуация, когда ИИ действует вопреки поставленной цели. Такое отклонение может произойти случайно, например, из-за отсутствия соответствующих управляющих правил. Также это может быть преднамеренное вмешательство, когда злоумышленники пытаются подчинить себе ИИ-систему и использовать ее, или устанавливают в среду вредоносные модели ИИ.
Автоматизация мошенничества — это создание синтетического контента: текстового, аудио или видео, для компрометации бизнес-процессов с помощью фишинговых и BEC-атак, а также видео-дипфейков или аудио-дипфейков. Автоматизация мошенничества легко масштабируется с помощью ИИ.
Системы ИИ зависят от данных. Поэтому данные, используемые в системах искусственного интеллекта, в том числе вводимые в данный момент, должны соответствовать всем нормам конфиденциальности и добросовестного использования. Чтобы минимизировать риски, необходимо обеспечить проактивное и эффективное управление данными.
В списке OWASP Top 10 перечислены наиболее критичные уязвимости для приложений LLM:
Краткое описание каждой из этих уязвимостей также можно найти на сайте OWASP.
Генеративный ИИ (GenAI) использует для помощи пользователям данные, полученные ранее и в данный момент. Поэтому при работе с инструментами, требующими промпта (текстового запроса от пользователя), необходимо быть очень внимательным к тому, что вы вводите в поле запроса. Некоторые ИИ-инструменты позволяют пользователям отказаться от участия в сборе данных, например в ChatGPT есть возможность отключить историю чата. В зависимости от политики управления и использования ИИ, которую внедряет регулирующий орган в данной отрасли, превентивные меры и подобные им действия могут быть обязательными для обеспечения соответствия требованиям.
Учтите, что если вы введете финансовые данные, конкретные характеристики еще не выпущенного программного обеспечения, персональные данные (PII), например: личные адреса и реквизиты, или другие конфиденциальные данные, то приложение ИИ будет иметь к ним свободный доступ. Такие данные представляют собой риск: приложение может вставить их в ответ на аналогичные запросы, злоумышленники могут их использовать для манипулирования кем-то или украсть. Это особенно опасно, когда инструменты GenAI используются для генерации идей или для быстрой компиляции большого объема данных, тем более, если шифрование и средства безопасности неудовлетворительные.
ChatGPT — это чат-бот на базе генеративного ИИ, который выдает текстовые ответы на запросы пользователя (промпт). Злоумышленники могут использовать ChatGPT для маскировки фишинговых писем или повышения уровня их воздействия. Кроме того, могут атаковать саму платформу, чтобы получить доступ к данным пользователей для неправомерного их использования. Например, чтобы составить фишинговые письма на основе образцов писем организации или частного лица, на которых будет направлена атака, а также исправить опечатки, грамматику и стиль, сделав письма более убедительными. Также существует риск кражи пользовательских данных и взлома с помощью инъекции промпта или джейлбрейка.
Существуют также риски безопасности, которые не связаны напрямую со злоумышленниками. Например, информация, которую ChatGTP получает от пользователя, может быть использована для обучения LLM. Существует также риск неудовлетворительного шифрования данных. Так, недавно в приложении ChatGPT для macOS обнаружили опасную проблему: чаты пользователей хранились открытым текстом.
Сам OpenAI API может стать целью для киберпреступников. Даже при соответствии стандарту SOC 2 и регулярном тестировании на проникновение риск невозможно исключить полностью, поскольку киберугрозы непрерывно развиваются. В недавней статье Soft Kraft всесторонне рассматриваются риски безопасности данных OpenAI. Часть из них представляет особый интерес для корпоративных пользователей:
Благодаря поддержке приложений Microsoft 365, Microsoft Copilot доступен для широкой аудитории. Более того, новые ПК на базе Windows будут оснащаться клавиатурой с клавишами Copilot, что еще более ускорит ввод информации пользователем. Оптимизированный доступ может создать дополнительный риск для безопасности, если Copilot так же, как другим инструментам GenAI, будет доступна конфиденциальная информация. Если разрешения будут установлены неправильно или в документах, сгенерированных ИИ, не будут включены соответствующие настройки, может произойти утечка конфиденциальных данных или нарушена защита. То же самое относится и к управлению доступом пользователей. Наконец, атаки на саму платформу могут позволить злоумышленникам изменять способы доступа к данным и обмена ими.
Исследования по теме
Статьи по теме