Маршрутизация модели появляется как решение для контроля затрат в корпоративном ИИ, оказывающее давление на OpenAI и Anthropic

Как сообщает CNBC, лидеры в сфере ИИ, включая генерального директора Cognition Скотта У (Scott Wu) и вице-президента Cisco по продуктам (CPO) Джиту Пателя (Jeetu Patel), на этой неделе раскрыли, что маршрутизация моделей — решение, которое сопоставляет задачи подходящим ИИ-моделям в зависимости от сложности — становится ключевой дисциплиной по контролю затрат в корпоративной Америке.

В настоящее время, по словам генерального директора Glean Арвинда Джейна (Arvind Jain), примерно 95% корпоративного использования ИИ по умолчанию опирается на дорогие флагманские модели даже для рутинных задач. Маршрутизация моделей может обеспечить в 5–10 раз более высокую эффективность по затратам при выполнении типовых работ за счет более дешевых альтернатив. Анализ затрат Cisco подчеркивает масштаб давления: при $200 использования токенов на сотрудника в неделю компания сталкивается примерно с $900 миллионами ежегодных расходов на ИИ для своих 90 000 сотрудников. Если компании будут все чаще перенаправлять высокообъемные, простые задачи на более дешевые или открытые модели, OpenAI и Anthropic будут получать оплату только за сложную работу, что потенциально может изменить модели ценообразования, на которых обе компании строили оценки своей стоимости.