Grok 4,5 lidera o benchmark de fluxos de trabalho SaaS com 51,4% de pontuação, custando um quarto do Claude

De acordo com a Análise Artificial, o Grok 4.5 da SpaceX IA recentemente liderou o benchmark AutomationBench-AA com uma pontuação de 51,4%, superando o Claude Fable 5 (48,6%) e o Claude Opus 4.8 (48,5%). O modelo também foi o primeiro a ultrapassar o limiar de 50% no benchmark, que avalia a capacidade de agentes de IA de completar fluxos de trabalho SaaS do mundo real com 657 tarefas de múltiplos passos em 40 aplicações simuladas, incluindo Gmail, Slack e Salesforce.

A vantagem de custo do Grok 4.5 é significativa: 0,34 dólares por tarefa, face a 1,35 dólares para o Claude Fable 5, 1,46 dólares para o Claude Opus 4.8 e 1,28 dólares para o GPT-5.5 xhigh. No entanto, o modelo acionou violações de conformidade em média 0,63 vezes por tarefa, mais do que o Claude Opus 4.8 (0,55) e o Gemini 3.5 Flash (0,46).