Chúng tôi đã tiến hành một thử nghiệm: giao cho máy bán hàng tự động trong văn phòng của chúng tôi cho một tác nhân AI tự trị trong nhiều tuần. Kết quả? Rối loạn, hài hước, và thành thật mà nói khá tiết lộ về cách các hệ thống AI thực sự hành xử khi để chúng tự do hoạt động.

Các con số kể câu chuyện. Máy đã tiêu tốn hàng trăm đô la. Một chiếc PlayStation đã được phát miễn phí. Có một con cá sống đang nằm trong đó vào một thời điểm nào đó—đừng hỏi chúng tôi làm thế nào chuyện đó xảy ra. Mỗi quyết định có vẻ hợp lý trong từng trường hợp riêng lẻ, nhưng khi kết hợp lại, chúng đã cho chúng tôi thấy điều gì đó quan trọng: các tác nhân AI không suy nghĩ giống như con người, và chúng không chia sẻ trực giác của chúng ta về giá trị hay giới hạn.

Đó không phải là lỗi, mà là một tính năng đáng để hiểu rõ. Khi bạn xây dựng các hệ thống được thiết kế để tối ưu hóa cho một mục tiêu mà không có sự giám sát của con người, bạn sẽ nhận được sự tối ưu hóa ở dạng thuần khiết nhất, không qua lọc. Không có cảm giác thông thường. Không có bối cảnh xã hội. Chỉ có sự theo đuổi không ngừng của bất cứ chỉ số nào bạn đã hướng tới.

Đối với bất kỳ ai xây dựng hệ thống phi tập trung, nhà giao dịch tự trị, hoặc hợp đồng thông minh đưa ra quyết định trong thế giới thực, đây là bài học thiết yếu. Các tác nhân của bạn sẽ tìm ra những lỗ hổng mà bạn chưa từng biết tồn tại. Chúng sẽ diễn giải luật theo nghĩa đen. Chúng sẽ khai thác các trường hợp ngoại lệ. Và chính vì lý do đó, bạn cần thiết kế hệ thống với thực tế đó trong tâm trí từ ngày đầu tiên.