Люди переоцінюють надійність відповідей штучного інтелекту — учені

Системи штучного інтелекту (ШІ), зокрема діалогові агенти, такі як ChatGPT або Gemini, сьогодні щодня використовують дедалі більше людей у всьому світі. Хоча багато користувачів довіряють відповідям ШІ-агентів на свої запити, ці відповіді не завжди є точними та надійними.

Втім, користувачі сприймають системи штучного інтелекту більш впевненими у їхніх відповідях, ніж інших людей — навіть коли відповіді, які ШІ генерує, є такими самими, як і ті, що надають люди. Це встановило дослідження учених з Університету Ватерлоо (Канада) та Університетського коледжу Лондона, повідомляє видання Phys.org.

Дослідники зазначають, що в міру розвитку ШІ люди все частіше звертаються до систем штучного інтелекту за порадою, наприклад, щодо того, які товари купувати або який контент переглядати:

Це відображає те, що ми робимо постійно, взаємодіючи з іншими людьми, оскільки часто звертаємося до них за порадою та рекомендаціями. Однак існує важлива відмінність між порадами від людей та систем штучного інтелекту: коли люди дають поради, вони часто також повідомляють, наскільки впевнені у своїх словах, і ця впевненість, у свою чергу, визначає, наскільки ми довіряємо пораді та покладаємося на неї.

На відміну від людей, більшість систем штучного інтелекту, зокрема моделі, на яких базується функціонування ChatGPT та Gemini, розроблені так, щоб лише генерувати відповіді на конкретні запитання, не вказуючи, наскільки вони впевнені у своїх відповідях.

Під час взаємодії з іншими людьми ми висловлюємо впевненість за допомогою різноманітних сигналів, включаючи тон голосу, міміку, поставу тощо, — зазначають учені. — Системи ШІ, однак, часто не мають цих особливостей, оскільки більшість систем не мають людських голосів або фізичної присутності.

Щоб зрозуміти, чому люди приписують ШІ впевненість у відповідях, учені розробили завдання, в якому учасники спостерігали за людьми або системами ШІ, що приймають рішення, а потім повідомляли, наскільки впевненим, на їхню думку, був агент у кожному виборі:

• потім дослідники проаналізували зібрані дані, щоб визначити, як різні ознаки впливали на впевненість, яку учасники приписували агентам ШІ або людям;
• виявилося, що піддослідні схильні вважати, що агенти більш впевнені, коли вони відповідають швидко або коли рішення здається їм легшим;
• люди приписували більшу впевненість агентам, яких вважали точнішими чи здібнішими, навіть якщо це переконання насправді не мало підстав.

Загалом, результати цього дослідження свідчать про те, що людям не потрібно, щоб агенти ШІ явно повідомляли, наскільки вони впевнені у своєму прогнозі, щоб зробити висновок про рівень їхньої впевненості. Натомість учасники дослідження, як правило, автоматично використовували різні підказки, такі як швидкість реакції агента або те, наскільки компетентним він здавався, щоб зробити висновок про його впевненість.

Важливо, що ці підказки можуть вводити в оману: коли люди вірять, що система ШІ є дуже спроможною, вони можуть також припускати, що вона є дуже впевненою, навіть якщо система насправді не є надійною в цій конкретній ситуації, — зазначають учені.

Іншими словами, приписування людьми ШІ мотивів випливає з їхніх (іноді помилкових) попередніх переконань щодо штучного інтелекту, а не з його фактичної ефективності.

У взаємодії між людиною та людиною впевненість служить важливим соціальним сигналом, який допомагає нам вирішувати, коли довіряти пораді, а коли ставитися до неї обережніше, — підсумовують учені. — Коли системи ШІ не надають цю інформацію явно, люди можуть зробити висновок самі, що матиме важливі наслідки: вони можуть у кінцевому підсумку надто довіряти рекомендаціям штучного інтелекту, навіть якщо система може бути у стані невизначеності або схильною до помилок.

Джерело: Phys.org