Деякі ШІ-боти все ще мислять стереотипами — учені

Великомасштабні мовні моделі (LLM) — технологія, на якій базуються такі популярні інструменти, як Gemini та ChatGPT, — стали більш «витонченими», ніж будь-коли. Але це не означає, що вони позбавлені упереджень.

Деякі моделі мають більше упереджень, ніж інші. Про це свідчать результати нового дослідження учених з Університету Ратгерса (США), повідомляє прес-служба вишу.

Хоча результати роботи LLM дедалі більше відповідають людським цінностям, процеси, за якими вони міркують, часто ґрунтуються на глибоко вкорінених стереотипах, — наголошується у статті.

Дослідники виявили, що більшість моделей під час процесу міркування послідовно відтворювали приховані упередження людей.

Коли люди обробляють інформацію, швидкість, з якою вони встановлюють асоціації, може дати дослідникам підказки щодо прихованих упереджень, що впливають на їхнє мислення. На відміну від свідомих упереджень — тобто тих, що висловлюються навмисно — неявні упередження стосуються автоматичних припущень, ідей, які формують сприйняття, судження та поведінку на основі таких категорій, як раса, гендер чи вік.

Неявні упередження — це форми пам’яті, подібні до інтуїтивної реакції, які можуть бути більш нав’язливими або важчими для контролю, — зазначають дослідники. — Ці упередження можуть бути настільки несвідомими, що ми навіть не усвідомлюємо їхнього існування.

Для вивчення цих реакцій у людей дослідники використовують «Тест на неявні асоціації» — широко застосовуваний інструмент соціальної психології, що дозволяє виявляти неявні упередження.

Чим швидша реакція на запитання, тим більш неявним вважається упередження. Наприклад, дослідження, пов’язані з расовими питаннями, в яких використовувався цей тест, показали, що коли людям показують зображення облич та слів, вони швидше асоціюють білі обличчя з приємними словами, а чорні обличчя — з неприємними.

Учені вирішили перевірити, чи можна розробити та провести подібний тест для LLM:

• коли сучасні великі мовні моделі (LLM) обробляють складне запитання чи завдання, вони генерують «токени міркування», які вимірюють, скільки енергії модель витратила на відповідь. Дослідники можуть аналізувати ці токени, що дає уявлення про те, як працюють запатентовані моделі;
• учені адаптували тест на неявні асоціації, щоб за допомогою токенів міркування оцінити, скільки зусиль модель докладає під час обробки інформації, що може містити упередження;
• у ході експерименту п’ять моделей міркування — o3-mini від OpenAI, R1 від DeepSeek, Claude 3.7 Sonnet від Anthropic, gpt-oss-20b від OpenAI та Qwen-3 8B від Alibaba Cloud — отримали список чоловічих та жіночих імен, а також слів, пов’язаних із «кар'єрою», таких як «керівник», «професіонал», «зарплата» та «сім'я», зокрема «дім», «шлюб» і «весілля». Моделям було запропоновано поєднати ім’я зі словом, пов’язаним із кар'єрою або сім'єю. Потім дослідники підрахували кількість лексеми, згенерованих під час процесу міркування;
• далі моделям було дано завдання класифікувати слова таким чином, щоб це суперечило усталеним стереотипам (наприклад, «Емі» та «керівник» або «Кевін» та «дім»). Потім знову було підраховано кількість токенів.

Дослідники порівняли середню кількість токенів у двох завданнях, причому більша кількість токенів свідчить про більші обчислювальні витрати:

• у майже кожній з протестованих моделей на завдання, що суперечили усталеним стереотипам, витрачалося більше токенів міркування, що свідчить про більші обчислювальні витрати під час обробки інформації, яка суперечить стереотипам;
• лише модель Claude 3.7 Sonnet продемонструвала протилежну динаміку.

Учені зазначають, що ці висновки є важливими, особливо з огляду на те, що більшість великих мовних моделей є закритими системами, які не дають можливості легко їх перевірити.

Крім того, у міру прискорення темпів розробки моделей та їхнього все ширшого використання для автоматизації різних процесів — від динамічного ціноутворення до комплектування персоналу відділень невідкладної допомоги — роль дослідника у розумінні поведінки моделей стає важливішою, ніж будь-коли.

За відсутності урядової підзвітності чи законодавчих вимог щодо прозорості найкраще, що ми можемо зробити, — це ретельно вивчати ці системи за допомогою доступних інструментів, щоб побачити, що вийде в результаті, — наголошують дослідники.