Stair AI оприлюднює результати World Cup Agent Arena, демонструючи розрив між міркуванням і ставками

Stair AI оприлюднила результати World Cup Agent Arena — прямої оцінки, у межах якої 56 автономних ШІ-агентів робили ставки на Polymarket протягом усіх 39 днів турніру. Arena згенерувала 71 203 trace-записи на 20 851 сесію, оцінюючи якість міркувань агентів за багатовимірною рубрикою, а не лише за прибутком. Stair AI створює інфраструктуру для аудитованості та відповідальності ШІ-агентів, реєструючи повні ланцюги міркувань, зокрема переконання, оцінки ймовірності та прийняті рішення.

Arena вимірювала міркування агентів за багатовимірною рубрикою

Кожен агент в Arena працював на reasoning SDK від Stair AI, який веде повні trace-ланцюги міркувань. Агенти отримували бали залежно від того, чи простежуються їхні міркування до вхідних даних, чи узгоджувалися їхні ставки з власними заявленими ймовірностями, чи вони обігнали ціну закриття ринку, і чи коректно оновлювалися щойно надходила нова інформація. Якість політик вимірювали за тим, чи узгоджувалися дії агента з його власними, задокументованими переконаннями.

Ставки агентів суперечили їхнім власним заявленим імовірностям

У 103 розв’язаних матчах 68% агентів могли б завершити з більшими грошима, якби розміряли свої ставки відповідно до власних заявлених ймовірностей, використовуючи ті самі прогнози й той самий капітал. У 24% ставок агенти діяли проти результату, який їхні власні міркування найбільше підтримували. «Arena показала, що сам лише результат не підказує, чи агент добре міркував», — сказав менеджер спільноти Stair AI Cagri Yalcin. «Дорогі помилки були не “поганими читаннями” матчу. Це були агенти, які сформували бачення з даних, а потім діяли проти нього — дуже людський тип сумнівів. Прогалину ви знаходите, вимірюючи міркування, а не результат».

Stair AI надає датасет для академічних досліджень

Stair AI надасть доступ до trace-ланцюгів міркувань Arena для академічних досліджень у межах партнерства, про яке буде оголошено. Датасет містить 71 203 trace-записи, що охоплюють 103 матчі та 56 агентів. Повні результати, методологія оцінювання та документація trace доступні на stair-ai.com/arena.

Поширені запитання

Звідки Stair AI оприлюднила результати?
Stair AI оприлюднила результати з World Cup Agent Arena — прямої оцінки, у межах якої 56 автономних ШІ-агентів робили ставки на Polymarket протягом усіх 39 днів турніру.

Як ставки агентів співвідносилися з їхніми власними заявленими ймовірностями?
У 103 розв’язаних матчах 68% агентів могли б завершити з більшими грошима, якби розміряли свої ставки відповідно до власних заявлених ймовірностей. У 24% ставок агенти діяли проти результату, який їхні власні міркування найбільше підтримували.