Jakie są zagrożenia dla bezpieczeństwa związane z AI?

Zagrożenia dla bezpieczeństwa związane z AI pojawiają się podczas jej wdrażania i używania. Są to m.in. złośliwe cyberataki inicjowane przez cyberprzestępców oraz podatności wynikające z zachowania platform lub użytkowników.

Luki w zabezpieczeniach związane z AI

Open Worldwide Application Security Project (OWASP) zidentyfikował szereg luk w zabezpieczeniach związanych z AI opartą na dużych modelach językowych (ang. Large Language Model, LLM). Są to:

  • Prompt injection
  • Przetwarzanie wyników bez zabezpieczenia
  • Zatruwanie danych używanych do szkolenia modeli AI
  • Odmowy usługi modelu
  • Słabe punkty łańcucha dostaw
  • Ujawnianie informacji wrażliwych
  • Niezabezpieczone wtyczki
  • Nadmierna sprawczość
  • Nadmierne poleganie na wynikach
  • Kradzież modelu

Te podatności można podzielić na następujące główne kategorie:

  • Zagrożenia związane z AI w kontekście danych
    • Ujawnianie informacji poufnych
    • Kradzież modeli
  • Integralność systemu
    • Niezabezpieczone wtyczki
    • Niezabezpieczone przetwarzanie wyników
    • Nadmierna sprawczość
    • Zatruwanie modeli
    • SBOM łańcucha dostaw
    • Prompt Injection
    • Nadmierne poleganie na AI
  • Dostęp
    • Odmowa usługi
  • Podatności wykorzystujące braki integralności
    • Zatruwanie modeli
    • Prompt Injection
    • Integracja z ekosystemem
    • Niezabezpieczone wtyczki
    • Niezabezpieczone przetwarzanie wyników
    • Łańcuch dostaw oprogramowania
    • Nadmierna sprawczość
    • Nadmierne poleganie na AI

Będąc w dużej mierze zależną od dostępnych danych i informacji wprowadzanych przez użytkowników, AI jest coraz częściej celem złośliwych ataków w nadziei na złamanie zabezpieczeń cyfrowych i wyłudzenia poufnych informacji. W wynikach ankiety przeprowadzonej niedawno przez Gartner® podano pięć najczęściej wymienianych nowych zagrożeń w pierwszym kwartale 2024 roku. Zagrożenia związane z AI zajmują w nich dwa pierwsze miejsca, tj. wspomagane sztuczną inteligencją złośliwe ataki oraz dezinformacja. Jak zauważa Gartner, coraz lepsza AI może „ułatwiać phishing i inżynierię społeczną, dzięki skuteczniejszym włamaniom, większej wiarygodności i atakom wyrządzającym więcej szkód”.

Niedokładność AI

O niedokładności AI mówimy wtedy, gdy podawane przez nią wyniki nie są dopasowane do celu podanego przez użytkownika. Może to być przypadkowe, np. w wyniku awarii chroniących przed tym zabezpieczeń. Może to być również celowe, w którym to przypadku złośliwe podmioty mogą starać się zachwiać stabilnością atakowanej AI lub zainstalować w jej środowisku złośliwie dopasowane modele.

Automatyzacja oszustw

Automatyzacja oszustw polega na tworzeniu treści tekstowych, dźwiękowych lub wideo, które wykorzystują procesy biznesowe, czy to poprzez phishing, włamanie na pocztę służbową (BEC), czy też audio-wizualne treści Deepfake. AI pozwala łatwo skalować automatyzację oszustw.

Zarządzanie danymi

Systemy AI są zależne od danych. Dlatego dane wykorzystywane w systemach AI – oraz dane na żywo, z którymi modele te się stykają – muszą być zgodne ze wszystkimi przepisami dotyczącymi ochrony prywatności i uczciwego użytkowania. Stąd potrzeba proaktywnego i skutecznego zarządzania danymi, by minimalizować ryzyko.

Zagrożenia bezpieczeństwa związane z LLM

10 najpoważniejszych podatności związanych z LLM według OWASP to:

  • Prompt injection
  • Przetwarzanie wyników bez zabezpieczenia
  • Zatruwanie danych używanych do szkolenia modeli AI
  • Odmowy usługi modelu
  • Słabe punkty łańcucha dostaw
  • Ujawnianie informacji wrażliwych
  • Niezabezpieczone wtyczki
  • Nadmierna sprawczość
  • Nadmierne poleganie na wynikach
  • Kradzież modelu

Podsumowania każdej z tych podatności można znaleźć na stronie OWASP.

Zagrożenia dla bezpieczeństwa związane z GenAI w kontekście poleceń wprowadzanych przez użytkownika

Generatywna AI (GenAI) wykorzystuje dostępne dane przeszłe i obecne, aby pomagać użytkownikom. Dlatego wprowadzając polecenia w narzędziach GenAI, należy zwracać uwagę na to, jakie informacje się podaje. Niektóre narzędzia pozwalają użytkownikom zrezygnować z gromadzenia danych, na przykład opcja wyłączenia historii czatu w ChatGPT. W zależności od polityki zarządzania AI stosowanej przez danego regulatora branżowego środki zapobiegawcze lub zachowania takie jak wymienione wyżej mogą być wymogiem utrzymania zgodności.

Wstawianie informacji finansowych, poufnych szczegółów dotyczących jeszcze nieopublikowanego oprogramowania, danych osobowych (PII), takich jak adresy osobiste i dane kontaktowe, lub innych danych wrażliwych oznacza, że informacje te są dostępne dla aplikacji AI. Istnieje ryzyko, że zostaną one zmanipulowane, udostępnione innym w rekomendacjach narzędzia w odpowiedzi na podobne zapytania lub skradzione przez złośliwych aktorów, jeśli zabezpieczenia AI zostaną naruszone. Stwarza to szczególne ryzyko w przypadku korzystania z narzędzi GenAI do generowania pomysłów lub szybkiego kompilowania dużych ilości danych, zwłaszcza jeżeli nie są stosowane wystarczająco silne algorytmy szyfrujące lub środki bezpieczeństwa.

Zagrożenia dla bezpieczeństwa związane z ChatGPT

ChatGPT jest narzędziem GenAI, które dostarcza odpowiedzi tekstowych na zapytania użytkownika. Jako takie może być manipulowane przez złośliwe podmioty do ukrywania lub wzmacniania prób phishingu. Również sama platforma może być celem ataków, by umożliwić przestępcom dostęp do danych użytkowników. Ataki te mogą polegać na redagowaniu wiadomości phishingowych na podstawie próbek pisma osoby lub organizacji będących ich celem, a także poprawianie literówek, błędów gramatycznych i językowych, aby wiadomości wyglądały bardziej wiarygodnie. Istnieje również ryzyko kradzieży danych użytkownika lub naruszenia bezpieczeństwa poprzez wstrzykiwanie poleceń lub jailbreak.

Występują też zagrożenia związane ze sposobem użytkowania bez związku ze złośliwymi podmiotami. Na przykład informacje wprowadzane przez użytkownika do ChatGTP mogą być używane do szkolenia LLM. Pojawia się także ryzyko niewystarczającego szyfrowania danych, czego przykładem jest aplikacja ChatGPT na MacOS, która z początku uruchamiała się z czatem użytkownika zapisanym w postaci nieszyfrowanego tekstu.

Zagrożenia dla bezpieczeństwa związane z OpenAI

Sam interfejs API OpenAI może być potencjalnym celem cyberprzestępców. Choć jest on zgodny z SOC 2 i przechodzi regularne testy penetracyjne, to ryzyko nigdy nie jest całkowicie wyeliminowane, ponieważ cyberzagrożenia stale ewoluują. Niedawny artykuł opublikowany w Soft Kraft szczegółowo opisuje ryzyko dla bezpieczeństwa danych związane z OpenAI, ujawniając pięć zagrożeń szczególnie ważnych z punktu widzenia użytkowników korporacyjnych:

  • Dane konwersacji ChatGPT mogą być używane do ponownego trenowania modeli
  • Dane przesyłane za pośrednictwem interfejsu API mogą być ujawniane wewnętrznie i na zewnątrz
  • Zapewnienie zgodności z ogólnym rozporządzeniem o ochronie danych (RODO) może być trudne
  • Korzystanie z usług zewnętrznych podmiotów przetwarzania danych komplikuje kwestie związane z lokalizacją i obsługą danych

Zagrożenia dla bezpieczeństwa związane z Microsoft Copilot

Microsoft Copilot AI jest częścią aplikacji Microsoft 365, jest więc łatwo dostępny dla użytkowników. Co więcej, najnowsze komputery Copilot+ mają specjalny klawisz Copilota, zachęcający użytkownika do jeszcze szybszego wprowadzania danych. Ten usprawniony dostęp może być równolegle źródłem zagrożeń, jeżeli do Copilota zostaną wprowadzone poufne informacje, tak samo jak w przypadku innych narzędzi GenAI. Bez prawidłowych uprawnień i odpowiednich ustawień prywatności, możesz też dochodzić do wycieku poufnych danych lub naruszeń. To samo dotyczy zarządzania dostępem użytkowników. I wreszcie, ataki na samą platformę mogą umożliwić złośliwym podmiotom modyfikowanie metod dostępu do danych i ich udostępniania.

Powiązane badania

Powiązane artykuły