AI agenti zaobišli zaštitu i provalili u sustave: OpenAI incident naziva upozorenjem za cijeli svijet

Testovi su bili namjerno provedeni uz smanjene zaštitne mehanizme kako bi istraživači mogli utvrditi krajnje cyber sposobnosti modela. Agenti su dobivali izrazito zahtjevne zadatke pronalaženja sigurnosnih propusta, ali se tijekom rada nisu zadržali unutar granica predviđenog laboratorijskog okruženja. Umjesto toga počeli su pronalaziti vlastite načine za zaobilaženje ograničenja infrastrukture i nastavak rada prema cilju koji im je bio zadan.

Posebno zabrinjava način na koji su modeli počeli surađivati. Pronašli su mogućnost ostavljanja poruka unutar sustava Artifactory, pretvorivši alat koji tome nije bio namijenjen u svojevrsnu improviziranu oglasnu ploču. Kada je jedan takav komunikacijski kanal nestao nakon ponovne izgradnje sustava, agenti su uspjeli uspostaviti novi. OpenAI navodi da su se u pojedinim porukama čak opisivali izrazima poput „swarm“ i „collective“, odnosno roj i kolektiv.

Od zatvorenog testa do sustava druge kompanije

Najozbiljnija faza počela je kada su agenti pronašli način da OpenAI-jevu infrastrukturu koriste kao posrednika za pristup internetu. Kombiniranjem više sigurnosnih propusta proširili su pristup, a zatim počeli istraživati i vanjske servise u potrazi za informacijama koje bi im pomogle riješiti zadatke na kojima su zapeli. Među njima se našao i Hugging Face.

OpenAI navodi da su agenti pronašli javno izložene pristupne podatke, a zatim iskoristili dodatne ranjivosti kako bi izvršavali kod na više Hugging Face poslužitelja. Na jednom su stekli i puni administratorski pristup, dok su tijekom aktivnosti došli do ograničene količine privatnih podataka i dodatnih vjerodajnica. Glavnu ulogu u incidentu imao je interni istraživački model koji nikada nije bio namijenjen javnom izdavanju.

OpenAI naglašava da incident nije utjecao na podatke korisnika, funkcionalnost proizvoda niti dostupnost njegovih usluga. Nakon otkrivanja aktivnosti kompanija je zaustavila dio evaluacija, pokrenula opsežnu istragu i zajedno s Hugging Faceom radila na utvrđivanju razmjera događaja. U istragu su uključeni i vanjski sigurnosni stručnjaci.

Važno je pritom odvojiti ovaj incident od Astre, novog OpenAI-jeva modela čije se ime posljednjih dana pojavljuje uz priču o cyber sigurnosti. Astra nije sudjelovala u napadu na Hugging Face. Riječ je o zasebnom modelu za koji je OpenAI 1. rujna objavio da je dosegnuo prag koji kompanija prema vlastitom Preparedness Frameworku označava kao kritičnu razinu kibernetičkih sposobnosti.

Astra pod strožim režimom zaštite

Prema OpenAI-jevim evaluacijama, Astra uz odgovarajuće alate i pristup može pronalaziti prethodno nepoznate sigurnosne ranjivosti u dobro zaštićenim sustavima te razvijati načine njihova iskorištavanja bez potrebe da čovjek vodi svaki pojedini korak. Zbog toga su dijelovi njezina razvoja i pripreme za izdavanje usporeni dok nisu uvedene dodatne zaštitne mjere.

Kompanija sada uvodi izoliranija testna okruženja, stroža ograničenja pristupa internetu i modelima, dodatne zaštite protiv zloupotrebe te snažniji nadzor aktivnosti AI agenata. Lekcije naučene tijekom incidenta s Hugging Faceom izravno su uključene u sigurnosni pristup Astri, iako ona sama u tom događaju nije sudjelovala.

OpenAI cijeli slučaj opisuje kao upozorenje za sebe, ali i za širi tehnološki sektor. AI agenti postali su dovoljno sposobni, uporni i međusobno povezani da bez odgovarajućih ograničenja mogu pronaći i kombinirati sigurnosne slabosti kroz više računalnih sustava. Zbog toga se pitanje sigurnosti više ne može rješavati tek nakon razvoja modela, nego mora postati jedan od temelja na kojima se buduće generacije umjetne inteligencije uopće grade.