Modelele de inteligență artificială dezvoltate de compania chineză Moonshot au reușit să furnizeze informații despre fabricarea armelor biologice și despre desfășurarea unor asasinate. Descoperirea a fost făcută de Mindgard, o firmă specializată în testarea securității sistemelor AI, care a identificat vulnerabilitățile în luna iulie. Această problemă a fost observată în cadrul procesului de jailbreaking, o metodă prin care sunt ocolite limitele de siguranță impuse de producătorii de tehnologie.
Cercetătorii au testat modelele Kimi K2.6 și K3 Swarm pentru a vedea dacă acestea ignoră mecanismele de protecție. Rezultatele indică faptul că, odată ce este aplicată o astfel de tehnică, modelul poate discuta despre orice subiect și poate oferi recomandări periculoase într-un mod inventiv și creativ. Peter Garraghan, fondatorul Mindgard, a declarat că aceste descoperiri sunt îngrijorătoare, subliniind potențialul de utilizare a acestor tehnici de către hackeri pentru a provoca daune reale.
Pe lângă riscurile legate de subiecte periculoase, Mindgard susține că un model Kimi 2.6 compromis ar putea permite hackerilor să ruleze cod pe resursele de calcul ale sistemului. Mai mult, există riscul ca aceste modele să se conecteze la internet, devenind astfel o platformă de lansare pentru atacuri cibernetice. Deși Mindgard nu a demonstrat dacă informațiile furnizate de Kimi ar funcționa în practică, firma este convinsă că protecțiile existente ar fi trebuit să blocheze aceste discuții.
Compania Moonshot a demarat o investigație internă după ce a fost informată de Mindgard despre aceste vulnerabilități. Deși firma a fost notificată încă de la sfârșitul lunii iulie, Moonshot a reacționat oficial abia după ce BBC a solicitat un punct de vedere. Reprezentanții companiei au susținut că modelele lor au o rată ridicată de refuz pentru astfel de solicitări, salutând totodată contribuțiile terților ca fiind un pilon esențial pentru construirea unei inteligențe artificiale mai sigure.
Moonshot AI este o companie cu sediul în Beijing, fiind considerată unul dintre „tigrii AI” din China. Fondată în martie 2023 de Yang Zhilin, Zhou Xinyu și Wu Yuxin, compania a ajuns la o evaluare de 35 de miliarde de dolari în iulie 2026. Printre investitorii principali se numără Alibaba Group și Tencent, Moonshot fiind a doua cea mai valoroasă companie privată de AI din China, după DeepSeek.
Sectorul inteligenței artificiale se confruntă cu provocări constante privind securitatea datelor și prevenirea utilizării malițioase. Recent, Anthropic a anunțat că a reușit să oprească tentative de utilizare a unuia dintre modelele sale în activități care ar putea sprijini dezvoltarea armelor biologice. Această situație subliniază necesitatea unor mecanisme de control tot mai riguroase în dezvoltarea modelelor de limbaj mari.