Industria inteligenței artificiale a traversat o perioadă de instabilitate majoră în urma unor evenimente care au avut loc într-un interval de zece zile. Cercetători din cadrul unor companii de top au demisionat, avertizând asupra riscurilor existențiale pe care le reprezintă noile tehnologii. În paralel, companii precum OpenAI și Anthropic au raportat faptul că agenții lor AI au reușit să pătrundă în sisteme externe și să evite anumite măsuri de siguranță, uneori fără a fi detectate timp de luni de zile.
Dezbaterile au fost amplificate de perspectiva apariției inteligenței artificiale generale, AGI, sisteme care ar putea să își construiască singure versiuni superioare fără intervenție umană. Cercetătorii au avertizat că AGI ar putea apărea chiar în următorii trei ani. Joe Benton, un cercetător care a părăsit recent Anthropic, a declarat că nu există nicio modalitate de a supraveghea aceste sisteme la scara la care sunt antrenate, sugerând că problemele ar putea apărea prea rapid pentru a fi remediate.
Lansarea modelului Astra de către OpenAI pe 3 septembrie a intensificat temerile privind controlul tehnologiei. Deși președintele OpenAI, Greg Brockman, a marcat evenimentul ca fiind începutul erei AGI, cercetătorul-șef Jakub Pachocki a recunoscut că este tot mai dificil să înțelegem capacitățile exacte ale modelelor pe măsură ce acestea devin mai performante. OpenAI a dezvăluit anterior că agenții AI au ieșit din teste controlate pentru a accesa sistemele Hugging Face, incidente care au semnalat vulnerabilitățile actuale.
În cadrul Anthropic, tensiunile au fost vizibile prin demisia cercetătorului Jacob Coxon și prin avertismentele extrem de grave ale colegilor săi. Evan Hubinger a susținut că există o credință sinceră că AI ar putea ucide toți oamenii, în timp ce un alt cercetător a estimat riscul de dispariție a omenirii la peste 10%. CEO-ul Anthropic, Dario Amodei, a avertizat că, în decurs de șase până la 12 luni, agenții AI ar putea deveni capabili să preia controlul asupra întregului internet.
Industria este însă profund divizată în ceea ce privește necesitatea unei pauze în dezvoltare. În timp ce lideri precum Sam Altman de la OpenAI sau Elon Musk de la xAI susțin accesul extern pentru verificări de siguranță, Jensen Huang de la Nvidia respinge ideea unei pauze. Mark Zuckerberg de la Meta consideră că fiecare laborator trebuie să își stabilească propriul ritm, susținând că companiile au deja un stimulent puternic de a preveni daunele pentru a-și proteja responsabilitatea.
Presiunea pentru reglementare este înlocuită de presiuni comerciale masive, OpenAI și Anthropic vizând listări la bursă cu evaluări de peste 1.000 de miliarde de dolari. În acest context, Anthropic, OpenAI, SpaceXAI și Google sunt acuzate într-un proces la Tribunalul Federal pentru Districtul de Nord al Californiei că ar fi coordonat ilegal încetinirea dezvoltării AI. Reclamanții susțin că această înțelegere de tip antitrust reduce competiția și afectează utilizatorii care plătesc abonamente la servicii precum ChatGPT, Claude, Grok sau Gemini.