反抗軍在國內的 NPU 伺服器上運行 SK Telecom 的 A.X K1 AI 模型

Key Takeaways
  • 反抗軍成功在國內的 NPU 伺服器上運行 SK Telecom 的 A.X K1 AI 模型。
  • A.X K1 模型包含超過 5000 億個參數,並採用專家混合(Mixture of Experts)架構。
  • 反抗軍參與韓國科學與資訊通信部的獨立 AI 基礎模型(foundation model)專案。

Rebellions 是一家南韓 AI 半導體公司,該公司於 23 日宣布,已成功在國內神經處理器(NPU)伺服器上運行 SK Telecom 的超大型 AI 模型 A.X K1。Rebellions 使用自家 AI 伺服器「Rebel Server」,以超過 5,000 億(5000 billion)參數穩定執行該模型,並展示可同時處理多名使用者請求的 AI 代理服務。這項成果證明,僅使用國內 AI 模型與 NPU 基礎設施即可運行大型規模 AI 服務,使其成為主權 AI 能力的實用案例。Rebellions 為 SK Telecom 旗下、在科學與資訊通信部(Ministry of Science and ICT)獨立 AI 基礎模型項目中的聯盟成員,負責展示基於國內 NPU 的 AI 基礎設施。

Rebellions 為 MoE 架構與平行處理優化軟體

A.X K1 採用專家混合(Mixture of Experts,MoE)架構,會有選擇地僅使用必要的專門模型,以提升大型模型的計算效率。Rebellions 為 MoE 模型優化了專用軟體,並將技術應用於將各種運算分散到多個 NPU,以進行平行處理。這使得單一伺服器能夠即時處理多名使用者的請求。該公司表示,單一 Rebel Server 所確保的基礎設施效能,與全球高效能圖形處理器(GPU)伺服器相當,可降低資料中心建置與營運負擔。

Rebel Server 展示即時多使用者 AI 代理服務

在展示中,Rebellions 展示了一種代理服務:使用者可以提出例如「週末營業的藥局」等問題,並獲得以地圖呈現的結果。即使在多名使用者同時輸入不同問題的環境中,系統也能即時處理並回覆。該展示驗證,伺服器能以穩定效能處理併發的多使用者工作負載。

Rebellions 參與政府 AI 基礎模型項目

Rebellions 執行長(CEO)Park Sung-hyun 表示:「這是一個實際案例,展示主權 AI 如何僅靠國內超大型模型與國內 NPU 即可運行大型規模 AI 服務。」Rebellions 作為科學與資訊通信部(Ministry of Science and ICT)獨立 AI 基礎模型項目中 SK Telecom 旗下的聯盟成員參與其中,並負責展示基於國內 NPU 的 AI 基礎設施。

常見問題(FAQ)

Rebellions 使用 SK Telecom 的 A.X K1 模型達成了什麼?

Rebellions 成功在其基於國內 NPU 的 Rebel Server 上運行 SK Telecom 的 A.X K1 AI 模型,該模型擁有超過 5,000 億(5000 billion)參數。該公司展示了一種 AI 代理服務,可在即時狀態下同時處理多名使用者的請求。

Rebellions 的 Rebel Server 如何高效處理大型 AI 模型?

Rebel Server 針對 A.X K1 使用的專家混合(Mixture of Experts,MoE)架構優化了專用軟體,將各種運算分散到 NPU 以進行平行處理。這使得單一伺服器在處理多名使用者請求的即時內容時,也能達到與全球高效能 GPU 伺服器相當的基礎設施效能。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆