Le routage des modèles émerge comme solution de contrôle des coûts de l’IA en entreprise, faisant pression sur OpenAI et Anthropic

D’après CNBC, des leaders de l’IA, dont le PDG de Cognition Scott Wu et le responsable produit (CPO) de Cisco Jeetu Patel, ont révélé cette semaine que le routage des modèles — une solution qui associe des tâches aux modèles d’IA les plus adaptés en fonction de leur complexité — devient une discipline clé des coûts dans l’Amérique des entreprises.

Actuellement, environ 95% de l’usage d’IA en entreprise par défaut s’appuie sur des modèles « frontier » coûteux, même pour des tâches de routine, selon le PDG de Glean Arvind Jain. Le routage des modèles pourrait offrir une efficacité des coûts 5 à 10 fois meilleure sur le travail répétitif grâce à des alternatives moins chères. L’analyse des coûts de Cisco souligne la pression : avec 200 dollars de consommation de tokens par employé et par semaine, l’entreprise ferait face à environ 900 millions de dollars de dépenses annuelles en IA pour ses 90 000 employés. Si les entreprises orientent de plus en plus les tâches faciles à forte volumétrie vers des modèles moins chers ou open source, OpenAI et Anthropic ne seraient payées que pour le travail complexe, ce qui pourrait redessiner les modèles de tarification sur lesquels les deux sociétés ont construit leurs valorisations.