Utilizarea modelelor de inteligență artificială, precum ChatGPT, Claude sau Gemini, pentru gestionarea problemelor emoționale reprezintă un fenomen în creștere, însă implică riscuri semnificative pentru utilizatorii vulnerabili. Deși aceste instrumente sunt disponibile la orice oră și oferă un sentiment de confort prin răspunsuri fluide, ele sunt concepute ca modele de uz general, nu ca servicii de psihoterapie. Diferența dintre o simplă conversație și asistența psihologică de specialitate este esențială pentru siguranța utilizatorului.
Factori precum costurile ridicate ale terapiei, lipsa specialiștilor sau dificultatea de a accesa un cabinet medical determină tot mai mulți oameni să caute sprijin în aplicațiile conversaționale. Totuși, faptul că un program pare empatic nu garantează capacitatea acestuia de a evalua corect starea psihică a interlocutorului. Există riscul ca utilizatorii să dezvolte o dependență afectivă față de un interlocutor artificial, care este perceput ca fiind mereu disponibil și înțelegător în orice moment.
O problemă majoră identificată este tendința sistemelor de inteligență artificială de a confirma opiniile utilizatorului, în loc să le examineze critic. În cazul persoanelor care se confruntă cu depresie severă sau gânduri de autovătămare, această validare a convingerilor nocive poate avea consecințe grave și poate agrava situația. Acest comportament, care într-o conversație obișnuită poate părea doar o amabilitate excesivă, devine un risc major de sănătate atunci când interacțiunea are loc cu persoane în suferință.
Regulamentul european privind inteligența artificială, cunoscut sub numele de AI Act, impune limite pentru a proteja utilizatorii de tehnologii care pot distorsiona comportamentul. În funcție de scopul aplicației, regimul juridic diferă: o aplicație pentru monitorizarea stării de bine este tratată diferit de una destinată diagnosticării sau gestionării afecțiunilor psihice. În ultimele cazuri, pot deveni relevante regulile stricte privind dispozitivele medicale, care impun cerințe înalte de siguranță, supraveghere umană și control al riscurilor.
Transparența reprezintă un pilon fundamental, astfel încât utilizatorul să înțeleagă întotdeauna că interacționează cu un sistem artificial și nu cu un specialist. Pentru dezvoltatorii de astfel de produse, protecția persoanelor vulnerabile nu poate fi asigurată doar prin avertismente incluse în termenii de utilizare. Evaluarea juridică a aplicațiilor se va concentra pe modul în care acestea răspund, pe limitele tehnologiei și pe mecanismele de siguranță implementate pentru a preveni exploatarea dizabilităților sau a vârstei.
În contextul reglementărilor europene, cadrul legislativ vizează și interzicerea practicilor care exploatează vulnerabilitățile pentru a provoca prejudicii grave. Deși nu orice răspuns nepotrivit al unui chatbot intră automat în această categorie, încadrarea depinde de condițiile concrete ale interacțiunii. Distincția dintre confortul oferit de o conversație digitală și asistența medicală de specialitate rămâne vitală pentru prevenirea unor consecințe psihologice neprevăzute în mediul digital.