Coinbase đã công bố bản báo cáo sự cố (postmortem) vào ngày 21 Tháng 7, xác định lỗi phần mềm gây ra một lần ngừng hoạt động kéo dài 50 phút vào ngày 14 Tháng 7. Lỗi này đã ngăn khách hàng hoàn tất các giao dịch chuyển tiền, mua hàng bằng Coinbase Card và truy cập các dịch vụ onchain. Sự gián đoạn được gây ra bởi một va chạm trùng tên tài nguyên Kubernetes không được phát hiện trong một bản cập nhật hạ tầng theo lịch, khiến hệ thống sửa nhầm một thành phần mạng. Sự cố ảnh hưởng đến các nền tảng dành cho khách hàng lẻ, tổ chức và nhà phát triển trong khoảng từ 12:37 p.m. ET đến 1:25 p.m. ET, dù không có rủi ro đối với tiền của khách hàng. Sự ngừng hoạt động xảy ra trong bối cảnh Coinbase đang mở rộng ra ngoài giao dịch crypto giao ngay sang cổ phiếu được token hóa, hợp đồng tương lai vĩnh cửu và các dịch vụ tài chính rộng hơn, qua đó làm tăng mức độ “đánh cược” khi cơ sở hạ tầng dùng chung gặp trục trặc.
Va chạm tên tài nguyên Kubernetes gây lỗi cổng gateway
Theo bản báo cáo sự cố được công bố vào ngày 21 Tháng 7, các kỹ sư đang triển khai một bản cập nhật có vẻ là thông thường, rủi ro thấp, nhưng một va chạm tên tài nguyên Kubernetes không được phát hiện đã khiến bản cập nhật sửa nhầm một thành phần mạng. Kubernetes là phần mềm Coinbase dùng để tổ chức và vận hành các ứng dụng trên hạ tầng đám mây của mình. Va chạm tên tài nguyên khiến bản cập nhật thay đổi một phần cổng gateway Istio ingress của công ty thay vì chỉ chỉnh đúng thành phần được nhắm tới. Gateway đóng vai trò như một bộ điều phối giao thông, chuyển hướng yêu cầu giữa các dịch vụ nội bộ của Coinbase. Khi gateway ngừng hoạt động, các hệ thống chịu trách nhiệm xử lý giao dịch, chuyển tiền, đối soát và ủy quyền thanh toán không còn có thể liên lạc. Coinbase cho biết sự cố “do cấu hình sai ngoài ý muốn của một thành phần mạng quan trọng, phát sinh từ bản cập nhật cấu hình theo thói quen” và rằng “không tại thời điểm nào tiền của khách hàng gặp rủi ro.”
Sự cố làm gián đoạn chuyển tiền, mua bằng thẻ và đối soát theo thể chế
Sự gián đoạn ảnh hưởng đến các nền tảng dành cho khách hàng lẻ, tổ chức và nhà phát triển của Coinbase trong khoảng từ 12:37 p.m. ET đến 1:25 p.m. ET. Một số khách hàng lẻ không thể hoàn tất nộp/rút tiền hoặc các giao dịch ngoài nền tảng. Các giao dịch chuyển tiền đang được thực hiện có vẻ bị kẹt, nhưng đã được xử lý sau khi dịch vụ hoạt động trở lại. Các giao dịch ghi nợ bằng Coinbase Card bị từ chối, trong khi giao dịch bằng thẻ tín dụng vẫn tiếp tục. Sự cố cũng làm gián đoạn các giao dịch hoán đổi onchain thông qua Coinbase DEX trên Base và Solana. Khách hàng của Coinbase Exchange và Prime gặp tình trạng chuyển tiền và đối soát bị trễ hoặc thất bại, trong khi khách hàng của nền tảng nhà phát triển không thể onboard người dùng, chuyển tiền hoặc sử dụng các dịch vụ onramp. Tác động cho thấy mức độ quan trọng ngày càng tăng của độ tin cậy khi Coinbase mở rộng ra ngoài giao dịch crypto giao ngay. Các sản phẩm dự kiến theo mô hình “everything exchange” của công ty, bao gồm cổ phiếu được token hóa và hợp đồng tương lai vĩnh cửu, đang mở rộng phạm vi hoạt động tài chính phụ thuộc vào cơ sở hạ tầng của công ty. Coinbase cũng mô tả riêng kế hoạch biến nền tảng thành một trung tâm tài chính rộng hơn, với các dịch vụ giao dịch, thanh toán và quản lý tiền mới trải rộng từ cổ phiếu, phái sinh, thanh toán stablecoin đến các công cụ dành cho nhà phát triển.
Coinbase triển khai biện pháp bảo vệ mới sau khi khôi phục thủ công
Gateway được khôi phục vào lúc 1:20 p.m. ET, và Coinbase cho biết sự cố đã được giảm thiểu ba phút sau đó. Hàng đợi giao dịch còn lại được làm sạch trong vài giờ tiếp theo. Thời gian khôi phục kéo dài hơn vì các công cụ triển khai của Coinbase phụ thuộc vào gateway đã lỗi. Các kỹ sư không thể sử dụng quy trình rollback tiêu chuẩn và thay vào đó đã tự triển khai thủ công một bản triển khai khẩn cấp thông qua nhà cung cấp đám mây của công ty bằng quyền truy cập đặc quyền tạm thời. Coinbase hiện đang bổ sung các kiểm tra để chặn xung đột đặt tên, tách các công cụ khôi phục khỏi hạ tầng mà chúng quản lý và thử nghiệm thường xuyên hơn các quy trình truy cập khẩn cấp. Coinbase nhấn mạnh rằng “mục tiêu của chúng tôi luôn là không có thời gian ngừng hoạt động (zero downtime)” và nêu: “Chúng tôi đang tích cực thiết kế lại hạ tầng để đảm bảo rằng, trong trường hợp cực kỳ khó xảy ra nếu có một sự cố khác như sự cố này, chúng tôi có thể nhanh chóng quay lại và khôi phục.”
FAQ
Điều gì đã gây ra sự cố ngừng hoạt động của Coinbase vào ngày 14 Tháng 7?
Sự cố được gây ra bởi một va chạm trùng tên tài nguyên Kubernetes không được phát hiện trong một bản cập nhật hạ tầng theo lịch, đã sửa nhầm một thành phần mạng; cụ thể là bản cập nhật đã thay đổi một phần cổng gateway Istio ingress của Coinbase thay vì thành phần được nhắm tới.
Sự cố ngừng hoạt động của Coinbase kéo dài bao lâu và những dịch vụ nào bị ảnh hưởng?
Sự cố kéo dài khoảng 50 phút, từ 12:37 p.m. ET đến 1:25 p.m. ET vào ngày 14 Tháng 7. Sự cố ảnh hưởng đến các giao dịch chuyển tiền của khách hàng lẻ và các giao dịch ghi nợ bằng Coinbase Card, các đối soát theo thể chế trên Coinbase Exchange và Prime, các giao dịch hoán đổi onchain thông qua Coinbase DEX trên Base và Solana, cùng các dịch vụ nền tảng nhà phát triển bao gồm onboarding người dùng và chuyển dòng tiền.
Coinbase đang triển khai những biện pháp bảo vệ nào sau sự cố?
Coinbase hiện đang bổ sung các kiểm tra để chặn xung đột đặt tên, tách các công cụ khôi phục khỏi hạ tầng mà chúng quản lý và thử nghiệm thường xuyên hơn các quy trình truy cập khẩn cấp để đảm bảo việc quay lại và khôi phục nhanh chóng trong các sự cố tương lai.
