Tại sao AI càng hiểu bạn hơn, câu trả lời lại càng mang tính "chính thống"? Cảnh báo về thiên lệch trong huấn luyện của Karpathy

Tesla AI cựu giám đốc, một trong những tiếng nói quan trọng trong lĩnh vực học sâu, Andrej Karpathy gần đây đã đăng bài trên X, chỉ ra một vấn đề căn bản của các mô hình ngôn ngữ lớn (LLM): khả năng ghi nhớ và cá nhân hóa không những không làm mô hình thông minh hơn, mà còn có thể củng cố một dạng “thiên lệch huấn luyện” hệ thống — khiến mô hình ngày càng có xu hướng trả lời “các câu trả lời đúng phổ biến” thay vì “các câu trả lời tối ưu thực sự”.

Vấn đề cốt lõi: LLM “hồi tưởng”, không “suy luận”

Lập luận của Karpathy trực tiếp thách thức giả định hoạt động của LLM. Ông chỉ ra rằng, phân bố các ví dụ trong dữ liệu huấn luyện cực kỳ không đều — các phương pháp giải quyết vấn đề phổ biến, các câu trả lời thường được thảo luận xuất hiện lặp đi lặp lại trong dữ liệu huấn luyện, trong khi các câu trả lời hiếm nhưng cũng đúng gần như không tồn tại.

Điều này dẫn đến một vấn đề căn bản: Khi trả lời câu hỏi, LLM không thực sự “suy luận” ra câu trả lời tối ưu, mà chỉ tìm kiếm trong bộ nhớ các “ví dụ đúng phổ biến nhất”. Nói cách khác, các phương pháp giải pháp chính thống, được thảo luận rộng rãi, càng dễ bị mô hình chọn lựa, ngay cả khi có các lựa chọn tốt hơn, phù hợp hơn với tình huống hiện tại.

Hiệu ứng ngược của khả năng ghi nhớ cá nhân hóa

Vấn đề này còn được nhân rộng trong chức năng ghi nhớ cá nhân của trợ lý AI. Khi mô hình ghi nhớ sở thích, thói quen, các cuộc đối thoại trước của người dùng, “mô hình người dùng” mà nó xây dựng về cơ bản cũng là sản phẩm của phân bố dữ liệu huấn luyện — nó ghi nhớ “dạng phổ biến nhất giống người dùng này”, chứ không thực sự hiểu rõ nhu cầu đặc thù của từng cá nhân.

Điều này có nghĩa là, càng mạnh mẽ trong cá nhân hóa, LLM càng dễ rơi vào việc đưa người dùng vào một “nguyên mẫu” nhất định, thay vì cung cấp câu trả lời thực sự phù hợp, được thiết kế riêng.

Ảnh hưởng thực tế đối với các nhà báo truyền thông AI

Nhận thức này có ý nghĩa trực tiếp đối với những người sử dụng AI để hỗ trợ công việc. Khi bạn muốn AI phân tích một dự án tiền mã hóa ít người biết, đánh giá một quan điểm chính sách không phổ biến, hoặc nghiên cứu một quan điểm kỹ thuật ít được thảo luận, câu trả lời của AI có thể thiên về “ý kiến chính thống” hơn là phân tích khách quan.

Karpathy cho rằng, hiện tại không có giải pháp hoàn hảo cho vấn đề này, chỉ có thể giảm thiểu bằng cách đa dạng hóa dữ liệu huấn luyện. Tuy nhiên, thiên lệch căn bản — “mô hình thiên về các câu trả lời phổ biến” — là đặc tính nội tại của cấu trúc LLM, chứ không phải lỗi kỹ thuật.

Vấn đề sâu xa hơn: AI đang sao chép điểm mù tập thể của con người

Quan sát của Karpathy hướng tới một mối lo ngại sâu sắc hơn: dữ liệu huấn luyện là mẫu của các tác phẩm của con người trong quá khứ, không phải phân bố kiến thức khách quan. Điều này có nghĩa là, LLM không chỉ sao chép kiến thức của con người, mà còn sao chép các điểm mù, thành kiến, và sự quá đề cao các “chủ đề chính thống” của tập thể nhân loại.

Khi AI ngày càng được sử dụng nhiều trong phân tích tin tức, quyết định đầu tư, đánh giá chính sách, ảnh hưởng của thiên lệch huấn luyện cũng mở rộng theo. Đây không chỉ là vấn đề kỹ thuật, mà còn là vấn đề nhận thức, đòi hỏi người dùng phải luôn duy trì thái độ phê phán.

Bài viết này: Tại sao AI càng hiểu bạn, câu trả lời càng mang tính “chính thống”? Cảnh báo về thiên lệch huấn luyện của Karpathy lần đầu xuất hiện trên ABMedia của Chain News.