Doanh nghiệp cắt giảm mạnh chi tiêu cho AI khi chi phí token tăng vọt trong năm 2024

Theo Barron's, các doanh nghiệp đang đánh giá lại các khoản đầu tư AI sau khi đối mặt với tình trạng vượt chi phí Token bất ngờ trong năm 2024, trong đó tính minh bạch về giá cả và kiểm soát ngân sách trở thành những thách thức lớn trên khắp Phố Wall.

Các mô hình lý luận và AI agent là những tác nhân chính gây ra chi phí. Các mô hình lý luận thực hiện các phép tính nội bộ kéo dài trước khi tạo ra đầu ra, tiêu thụ nhiều Token hơn đáng kể so với văn bản cuối cùng được tạo ra. Các AI coding agent thậm chí còn tốn kém hơn, yêu cầu lượng Token gấp 1.000 lần so với lập trình viên con người để hoàn thành các tác vụ tương đương. Nhiều công ty hiện đang triển khai các bảng điều khiển để giám sát việc sử dụng AI của nhân viên và chuyển hướng sang các mô hình tiết kiệm chi phí hơn, bao gồm các lựa chọn thay thế giá rẻ hơn từ Trung Quốc hoặc chờ đợi các đợt giảm giá từ các nhà cung cấp lớn. Gia tăng thêm độ phức tạp, các nhà cung cấp mô hình khác nhau tính Token khác nhau—phương pháp tính của Anthropic cho thấy mức sử dụng cao hơn 30-40% so với đối thủ—khiến các nhà phân tích khó theo dõi xu hướng áp dụng AI.