Dezbaterea privind riscul ca inteligența artificială să reprezinte o amenințare pentru supraviețuirea omenirii a căpătat amploare după plecarea unui cercetător din cadrul Anthropic. Jacob Coxon a anunțat părăsirea companiei la începutul lunii septembrie, invocând temeri legate de posibilitatea ca sistemele dezvoltate în prezent să scape de sub controlul uman. Postarea sa a generat o atenție masivă, atingând peste 100 de milioane de vizualizări într-o singură zi.
Evan Hubinger, responsabil cu cercetarea privind alinierea sistemelor AI la valorile umane la Anthropic, a oferit o estimare alarmantă asupra acestui risc. Acesta consideră că probabilitatea ca extincția umană să aibă loc în următorul deceniu ar putea depăși pragul de 10%. Această perspectivă a impus o presiune nouă asupra marilor jucători din sector, care acum trebuie să echilibreze viteza de inovație cu necesitatea de a preveni scenarii catastrofale.
Dario Amodei, directorul general al Anthropic, a solicitat public ca ritmul de dezvoltare al sistemelor AI de vârf să fie încetinit, fără a opri complet procesul. Această poziție a fost susținută și de alți lideri influenți, precum Sam Altman de la OpenAI și Elon Musk de la xAI. Obiectivul principal este ca măsurile de siguranță să țină pasul cu capacitățile tehnologice, evitând situațiile în care obiectivele AI intră în conflict cu interesele oamenilor.
Cercetătorii analizează scenarii în care superinteligențele ar putea depăși capacitățile cognitive umane sau ar putea fi folosite pentru dezvoltarea de arme biologice. Totuși, Michael Vermeer de la RAND subliniază că multe dintre aceste predicții se bazează pe presupuneri care nu pot fi verificate empiric. O analiză citată de Nature a examinat scenarii concrete, precum cele legate de biotehnologie sau modificarea atmosferei, concluzionând că anumite riscuri nu pot fi excluse.
Companiile au început să publice evaluări proprii pentru a demonstra necesitatea unor protecții suplimentare. Anthropic a raportat că modelele sale pot executa sarcini din domeniul informațiilor militare la un nivel care necesita anterior experți umani. Totodată, OpenAI a semnalat că modelul GPT-6 Astra a atins un nivel critic în securitatea cibernetică, fiind capabil să identifice vulnerabilități și să conceapă metode de exploatare a unor sisteme bine protejate.
În prezent, industria AI traversează o perioadă de fragmentare legislativă și politică la nivel global. În timp ce în Congresul american există propuneri, precum cele ale senatorului Bernie Sanders și ale congresmanului Greg Casar, care cer o pauză în dezvoltarea superinteligenței, președintele american Donald Trump s-a opus public acestor solicitări de încetinire. Această divergență de opinii, combinată cu competiția tehnologică dintre Statele Unite și China, complică stabilirea unui cadru de reglementare internațional unic.