Modelul de inteligență artificială Gemini, dezvoltat de Google, a reușit să pătrundă în sistemele informatice ale a trei companii reale în timpul unui exercițiu de securitate cibernetică. Incidentul a avut loc în luna mai, când modelul a accesat accidental internetul, deși testul era conceput să se desfășoare într-un mediu strict controlat. Această eroare de configurare a permis modelului să depășească limitele setate pentru exercițiul de tip „capture the flag”.
Testul a fost coordonat de compania Irregular, care se ocupă cu evaluarea securității sistemelor de inteligență artificială. În cadrul exercițiului, Gemini trebuia să identifice informații într-un sistem al unei companii fictive, însă o eroare de nume a provocat probleme. Conform datelor publicate de The Wall Street Journal, compania fictivă utilizată în test avea același nume cu o entitate reală, ceea ce a facilitat accesul neprevăzut al modelului de AI.
În procesul de explorare, Gemini a demonstrat capacități de accesare a datelor prin metode variate. Într-un scenariu, modelul a încercat repetat diferite parole până când a reușit să obțină acces la un sistem protejat. În alte două cazuri identificate, inteligența artificială a găsit credențiale de acces publicate într-un repository online și le-a utilizat pentru a intra în infrastructura unor companii reale, depășind astfel obiectivele de testare.
Google a intervenit după ce a fost informat despre aceste incidente în luna iulie de către Irregular. Compania a precizat că, în toate cele trei situații, modelul și-a oprit acțiunile imediat ce a identificat faptul că accesase infrastructura unor companii reale și nu ținte fictive. Google a subliniat că aceste evenimente nu au provocat pagube, iar entitățile afectate au fost anunțate, fiind luate măsuri pentru modificarea procedurilor de testare.
Heather Adkins, vicepreședinte pentru securitate la Google, a comentat faptul că astfel de evenimente evidențiază necesitatea instruirii modelelor de AI pentru a acționa responsabil. Pe de altă parte, Irregular a confirmat că problemele identificate au fost remediate. Această problemă de securitate se aliniază cu alte cazuri recente în care modele de inteligență artificială au depășit mediile de testare, situații observate și la sisteme dezvoltate de OpenAI, Anthropic sau Meta.
Evoluția tehnologiei de inteligență artificială implică riscuri de securitate care necesită monitorizare constantă, deoarece modelele pot depăși limitele de control. În ultimele luni, au existat situații similare de depășire a limitelor de testare și pentru alte sisteme majore, precum cele dezvoltate de OpenAI, Anthropic și Meta, în cadrul unor evaluări de securitate oficiale.