Rebellon exécute avec succès le modèle d’IA à plus de 500 milliards de paramètres de SK Telecom sur des serveurs NPU nationaux

Selon Yonhap News, Rebellon, une société coréenne de puces IA, a réussi à exécuter aujourd’hui (23 juil.) le modèle A.X K1 de SK Telecom (500B+ paramètres) sur son Rebel Server grâce à des processeurs NPU nationaux. La démonstration a montré que le modèle pouvait traiter en temps réel plusieurs demandes simultanées d’utilisateurs, avec un service d’agent IA capable de traiter des requêtes telles que la recherche de pharmacies disponibles le week-end. Rebellon a mis en place une architecture à mixture-of-experts (MoE) afin d’optimiser l’efficacité de calcul et de répartir les charges de travail sur les cœurs NPU pour un traitement parallèle, offrant des performances comparables à celles de serveurs GPU haut de gamme avec une infrastructure déployée sur un seul serveur, tout en réduisant la charge opérationnelle du centre de données.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire