Compania chineză de dezvoltare a inteligenței artificiale Moonshot a demarat o anchetă internă după ce modelele sale populare, Kimi K2.6 și K3 Swarm, au oferit informații periculoase. Cercetătorii au reușit să convingă aceste sisteme să dezvăluie detalii despre fabricarea armelor biologice și metode de comitere a unor asasinate. Incidentul a fost descoperit de Mindgard, o companie specializată în testarea securității sistemelor de inteligență artificială, în luna iulie.
Procesul de vulnerabilitate, cunoscut sub numele de „jailbreaking”, implică utilizarea unor instrucțiuni complexe pentru a forța instrumentele AI să ignore mecanismele de protecție. Mindgard susține că aceste limite ar fi trebuit să împiedice modelele Kimi să abordeze subiecte sensibile sau periculoase. Fondatorul Mindgard, Peter Garraghan, a avertizat că, odată ce un jailbreak funcționează, modelul poate aborda orice subiect și poate oferi recomandări creative și dubioase din proprie inițiativă.
Pe lângă riscurile legate de siguranța publică, există temeri serioase privind securitatea cibernetică. Mindgard este convinsă că o versiune Kimi 2.6 cu jailbreak ar putea permite hackerilor să execute cod pe resursele de calcul și să se conecteze la internet. Această vulnerabilitate ar putea transforma modelul într-o rampă de lansare pentru atacuri cibernetice complexe. Deși Moonshot menționează că modelele sale au o rată ridicată de respingere a solicitărilor periculoase, investigația continuă.
Situația ridică probleme legate de natura modelelor cu acces liber, precum este Kimi, care pot fi rulate pe infrastructura proprie a oricărui utilizator. Profesorul Alan Woodward, de la Universitatea din Surrey, a subliniat că, deși modelele open-source pot ajunge în mâini nepotrivite, ele pot fi folosite și în apărarea cibernetică. Totodată, expertul a menționat că reglementările internaționale ar putea avea dificultăți în a ține pasul cu ritmul de dezvoltare al tehnologiei de inteligență artificială.
Industria AI rămâne profund divizată între susținătorii modelelor închise, precum ChatGPT sau Claude de la Anthropic, și cei care promovează instrumentele open-source. În timp ce Anthropic a raportat că a identificat și a dejucat încercări de utilizare a modelelor sale pentru activități rău intenționate legate de arme biologice, cazul Moonshot evidențiază riscurile specifice modelelor accesibile. Experții insistă pe necesitatea unei atenții sporite pentru identificarea și urmărirea penală a persoanelor care utilizează aceste tehnologii în mod abuziv.
Dezvoltarea rapidă a inteligenței artificiale generative a pus în scenă o competiție globală între siguranța controlată și accesibilitatea tehnologiei. În contextul în care modelele pot fi integrate în diverse infrastructuri, capacitatea de a preveni utilizarea lor pentru scopuri de dezinformare sau atacuri biologice rămâne o provocare majoră pentru reglementatorii și dezvoltatorii de software din întreaga lume.