Tether phát hành khung BitNet LoRA đa nền tảng, mô hình tỷ tham số có thể hoàn thành tinh chỉnh trên thiết bị cấp người tiêu dùng

Tin tức Techub News, Tether công bố ra mắt khung fine-tuning LoRA cho BitNet trên nền tảng QVAC Fabric, nhằm tối ưu hóa quá trình huấn luyện và suy luận của Microsoft BitNet (1-bit LLM). Khung này giảm đáng kể yêu cầu về sức mạnh tính toán và bộ nhớ, cho phép các mô hình có hàng tỷ tham số có thể được huấn luyện và tinh chỉnh trên laptop, GPU tiêu dùng và điện thoại thông minh. Đây là lần đầu tiên mô hình BitNet được tinh chỉnh trên GPU di động (bao gồm Adreno, Mali và Apple Bionic), thử nghiệm cho thấy mô hình 125M tham số có thể hoàn thành tinh chỉnh trong khoảng 10 phút, mô hình 1B tham số trong khoảng 1 giờ, thậm chí mở rộng đến mô hình 13B tham số trên điện thoại. Ngoài ra, khung này còn hỗ trợ phần cứng dị thể như Intel, AMD và Apple Silicon, và lần đầu tiên thực hiện fine-tuning LoRA cho 1-bit LLM trên các thiết bị không phải của NVIDIA. Về hiệu năng, mô hình BitNet trên GPU di động có tốc độ suy luận nhanh hơn CPU từ 2 đến 11 lần, đồng thời giảm tối đa khoảng 77,8% bộ nhớ GPU so với các mô hình truyền thống 16-bit. Tether cho biết công nghệ này có khả năng phá vỡ sự phụ thuộc vào các hệ thống tính toán cao cấp và hạ tầng đám mây, thúc đẩy quá trình huấn luyện AI hướng tới phân tán và địa phương hóa, đồng thời tạo nền tảng cho các ứng dụng mới như học liên kết (federated learning).