Колишній головний директор Tesla AI та важлива фігура у галузі глибокого навчання Анджей Карпати нещодавно опублікував у X пост, у якому підкреслив фундаментальну проблему великих мовних моделей (LLM): пам’ять і персоналізація не роблять модель розумнішою, навпаки, можуть посилювати систематичну «упередженість у тренуванні», через що модель все більше схильна давати «поширені правильні відповіді», а не «справжньо найкращу відповідь».
Головна проблема: LLM «запам’ятовує», а не «розмірковує»
Аргументи Карпати безпосередньо кидають виклик припущенням щодо роботи LLM. Він зазначає, що розподіл прикладів у тренувальних даних надто нерівномірний — популярні рішення та часто обговорювані відповіді повторюються у тренувальному наборі, тоді як рідкісні, але також правильні відповіді майже відсутні.
Це створює фундаментальну проблему: коли LLM відповідає на питання, вона не справді «розмірковує» і шукає найкращу відповідь, а швидше — шукає у пам’яті «найпоширеніший правильний приклад». Іншими словами, чим більш популярним і широко обговорюваним є рішення, тим легше модель його обере, навіть якщо існують кращі або більш відповідні варіанти для конкретної ситуації.
Зворотній ефект персоналізованої пам’яті
Ця проблема особливо посилюється у функціях персоналізованої пам’яті AI-помічників. Коли модель запам’ятовує переваги, звички або попередні діалоги користувача, «модель користувача», яку вона створює, по суті є продуктом розподілу тренувальних даних — вона запам’ятовує «найбільш схожий тип цього користувача», а не справді розуміє його унікальні потреби.
Це означає, що чим сильнішою є персоналізація LLM, тим більше вона може підганяти користувача під «прототип», а не давати справді індивідуальні, адаптовані відповіді.
Практичний вплив на медіа та журналістику з AI
Це відкриття має безпосередній вплив на тих, хто використовує AI у своїй роботі. Коли потрібно, наприклад, проаналізувати маловідомий криптовалютний проект, оцінити нестандартну політичну позицію або дослідити менш обговорювану технічну точку зору, відповіді AI можуть природно схилятися до «мейнстрімних» думок, а не до об’єктивного аналізу.
Карпати вважає, що наразі немає ідеального рішення цієї проблеми, і її можна частково пом’якшити за допомогою більш різноманітних тренувальних даних. Однак фундаментальна упередженість — «модель схильна до популярних відповідей» — є внутрішньою характеристикою архітектури LLM, а не багом.
Глибша проблема: AI копіює колективні людські сліпоти
Спостереження Карпати вказують на ще глибшу тривогу: тренувальні дані — це вибірки з минулого людського письма, а не об’єктивний розподіл знань. Це означає, що LLM не лише копіює людські знання, а й колективні сліпоти, упередження та надмірне наголошення на «мейнстрімових» наративів.
Коли AI дедалі ширше застосовуватиметься у новинах, інвестиційних рішеннях і політичних оцінках, вплив тренувальних упереджень лише зростатиме. Це не технічна проблема, а когнітивна — потребує критичного мислення користувачів.
Чому чим більше AI вас розуміє, тим більше він дає «мейнстрімні» відповіді? Попередження Карпати щодо тренувальних упереджень вперше з’явилося у ABMedia.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
