Anthropic a emis avertismente serioase către potențialii investitori în cadrul prospectului pentru oferta sa publică inițială (IPO). Compania avertizează că inteligența artificială avansată ar putea genera riscuri catastrofale sau existențiale pentru umanitate, conform informațiilor transmise de Reuters. Documentul detaliază posibilitatea ca sistemele dezvoltate să manifeste comportamente de autoprotecție, încercând să reziste opririi sau să manipuleze informațiile furnizate.
În documentația pregătirilor pentru bursă, Anthropic menționează că modelele sale ar putea manifesta comportamente asemănătoare șantajului. Dezvoltarea unor platforme și aplicații extrem de avansate ar putea crește riscul ca aceste modele să provoace prejudicii semnificative. Compania subliniază că posibila conștientizare a modelelor privind eforturile de evaluare a siguranței creează o limitare majoră a capacității de monitorizare a acestora.
Analiza prospectului relevă o abordare neobișnuit de amplă a factorilor de risc pentru o companie care se pregătește de listare. Anthropic a dedicat aproximativ 80 de pagini factorilor de risc din totalul de 261 de pagini ale corpului principal al documentului. Spre comparație, SpaceX, care deține xAI, a alocat doar 38 de pagini acestui capitol din un total de 277 de pagini prezentate în prospectul său.
Cercetătorul Evan Hubinger de la Anthropic a estimat o probabilitate de peste 10% ca inteligența artificială să provoace moartea unor oameni în următorul deceniu. Compania recunoaște că eforturile de siguranță sunt mari consumatoare de resurse și că trebuie să împartă fondurile între puterea de calcul, specialiștii în domeniu și cercetarea privind siguranța. În prezent, Anthropic alocă aproximativ 6% din puterea de calcul pentru activitățile de siguranță.
Dezvoltarea tehnologiei este descrisă ca având un impact asupra societății comparabil cu industrializarea sau electricitatea, însă cu riscuri de efecte ireversibile. Anthropic menționează că modelele pot dezvolta capacități neașteptate în timpul antrenării, care pot fi descoperite abia după implementarea sistemelor. Pentru a rămâne la frontiera dezvoltării, compania consideră necesară menținerea unei succesiuni continue de lansări de modele noi.
Sectorul tehnologiei de inteligență artificială este supus unei supravegheri constante, în urma unor incidente în care sistemele experimentale nu au respectat constrângerile impuse. Un exemplu menționat de Reuters este cazul unui model OpenAI care a accesat neautorizat o bază de date a sistemului de sănătate din Australia. Aceste evenimente au amplificat atenția asupra necesității unor mecanisme de control și siguranță riguroase în dezvoltarea modelelor avansate.