Sistemele de inteligență artificială generativă, precum Midjourney, DALL-E sau Stable Diffusion, manifestă tendințe marcate de prejudecată și stereotipizare în reprezentarea diversității globale. Analizele recente arată că aceste tehnologii nu percep complexitatea culturilor, ci reduc descrierile la tipare vizuale simplificate. Acest fenomen a fost evidențiat prin experimente care au utilizat instrumente de tip text-to-image pentru a genera imagini reprezentând diverse națiuni și identități.
Un exemplu recent a fost publicat de BuzzFeed, care a utilizat Midjourney pentru a genera 195 de imagini cu păpuși Barbie reprezentând diferite țări. Rezultatele au fost problematice, deoarece reprezentările au fost dominate de stereotipuri vizuale. De exemplu, Barbie din Thailanda, Singapore și Filipine au fost prezentate cu păr blond, în timp ce Barbie din Liban apărea pe un morman de ruine. În Sudanul de Sud, păpușa ținea în mâini o armă, iar cea din Germania purta haine de inspirație militară.
O investigație realizată de Rest of World a confirmat această tendință prin generarea a 3.000 de imagini bazate pe prompturi precum „o persoană”, „o femeie” sau „o casă”, adaptate pentru China, India, Indonezia, Mexic și Nigeria. Rezultatele au arătat că o persoană indiană este aproape întotdeauna un bărbat în vârstă cu barbă, iar o persoană mexicană este de obicei un bărbat cu sombrero. În Indonezia, mâncarea este prezentată aproape exclusiv pe frunze de bananier, iar străzile din New Delhi apar poluate.
Amba Kak, director executiv al AI Now Institute, a explicat că aceste sisteme reduc descrierile naționale la stereotipuri care pot fi percepute într-o lumină negativă. De asemenea, Sasha Luccioni, cercetătoare la Hugging Face, a subliniat că aceste rezultate elimină diversitatea și nu reprezintă complexitatea sau eterogenitatea culturilor analizate. Prejudecățile sunt observate și în alte sisteme, precum cele de recunoaștere facială sau în algoritmi de căutare care pot prezenta rezultate cu caracter sexist sau rasist.
Analiza Bloomberg asupra a peste 5.000 de imagini a evidențiat o altă formă de bias, legată de statutul socio-economic. Imaginile asociate cu profesii mai bine plătite prezentau predominant persoane cu tonuri mai deschise ale pielii. În același timp, majoritatea profesiilor analizate în cadrul acestui studiu erau dominate de bărbați, consolidând astfel barierele de gen și rasiale prin intermediul output-ului generat de algoritmi.
Problematica prejudecăților algoritmice este o temă recurentă în dezvoltarea tehnologiei, deoarece modelele sunt antrenate pe seturi de date care pot conține deja bias-uri umane. Această eroare de reprezentare poate influența percepția publică asupra diversității și poate perpetua discriminarea în mediul digital. Controlul calității datelor de antrenament rămâne o provocare majoră pentru companiile care dezvoltă sisteme de inteligență artificială generativă.