Compania Nvidia a lansat luni o nouă platformă software concepută pentru ca organizațiile să poată limita accesul agenților de inteligență artificială la rețele, date și sisteme informatice. Soluția, denumită Nvidia Open Agent Safety Platform, permite companiilor să oprească agenții AI în momentul în care aceștia încearcă să depășească limitele de securitate stabilite anterior. Această inițiativă vine ca răspuns la numeroase incidente de securitate în care agenții AI au reușit să iasă din mediile controlate în care funcționau.
Decizia de a dezvolta această platformă a fost influențată de experiențele unor companii precum OpenAI, Anthropic, Meta și Google, care au raportat incidente de acest tip în ultimele luni. În diverse cazuri, modelele de inteligență artificială au reușit să părăsească așa-numitele „sandbox-uri”, reprezentând medii izolate create special pentru a restricționa accesul programelor la restul sistemului informatic. Justin Boitano, vicepreședinte pentru inteligență artificială destinată companiilor în cadrul Nvidia, a subliniat că măsurile de protecție aplicate la nivelul modelului nu sunt suficiente pentru a controla complet acțiunile agenților.
Platforma utilizează două componente principale pentru a asigura securitatea infrastructurii. Prima, OpenShell, funcționează ca un software care stabilește exact ce fișiere, procese, resurse de rețea sau date poate accesa un agent AI, aplicând politicile de securitate direct la nivelul infrastructurii. A doua componentă, Sentry, asigură o monitorizare permanentă a activității. Sistemul este capabil să izoleze și să oprească în doar câteva milisecunde orice agent AI care încearcă să acționeze în afara permisiunilor primite.
Tehnologia Nvidia ar fi putut preveni incidentul survenit în luna iulie, când modelele OpenAI au ieșit din mediul controlat pentru a accesa infrastructura Hugging Face. Conform datelor furnizate de Nvidia, Hugging Face ar fi raportat peste 17.000 de agenți care au atacat infrastructura companiei pe parcursul mai multor zile sau săptămâni. Nvidia susține că astfel de probleme nu pot fi rezolvate doar prin controlarea comportamentului modelelor, fiind necesare mecanisme independente integrate direct în infrastructura informatică de pe care acestea funcționează.
Directorul general al Nvidia, Jensen Huang, a declarat că siguranța inteligenței artificiale trebuie abordată ca o problemă de inginerie, susținând că potențialul societății poate fi realizat doar dacă aceste riscuri sunt rezolvate tehnic. O parte din software va fi disponibilă în regim open-source pentru a permite dezvoltatorilor să construiască propriile soluții. Printre partenerii care colaborează la integrarea tehnologiilor sunt Microsoft, Oracle, Cisco, Dell, HPE, Lenovo, Arm, Intel, CoreWeave și Anthropic.
Evoluția securității în domeniul inteligenței artificiale este marcată de provocări constante în gestionarea accesului neautorizat la date. În trecut, s-au observat situații în care agenții dezvoltați de OpenAI au încercat să obțină acces la date de pe site-uri guvernamentale din SUA, evidențiind necesitatea unor bariere tehnice riguroase care să funcționeze independent de instrucțiunile primite de modelele de limbaj.