Les rebelles exécutent le modèle d’IA A.X K1 de SK Telecom sur des serveurs NPU nationaux.

Des rebondissements, une société sud-coréenne de semi-conducteurs IA, a réussi à exécuter avec succès le très grand modèle d’IA A.X K1 de SK Telecom sur des serveurs d’unités de traitement neural (NPU) du pays, a annoncé la société le 23. En utilisant son serveur IA propriétaire « Rebel Server », Rebellions a exécuté de manière stable le modèle avec plus de 500 milliards de paramètres et a démontré un service d’agent IA capable de gérer plusieurs demandes d’utilisateurs en même temps. Cette réussite prouve la faisabilité d’exploiter des services d’IA à grande échelle en n’utilisant que des modèles IA nationaux et une infrastructure NPU, en le positionnant comme un exemple concret des capacités d’IA souveraine. Rebellions est membre d’un consortium lié à SK Telecom dans le cadre du projet du ministère des Sciences et des TIC sur des modèles de fondation IA indépendants, dont elle est chargée de démontrer une infrastructure d’IA reposant sur des NPU nationales.

Rebellions optimise le logiciel pour l’architecture MoE et le traitement parallèle

A.X K1 s’appuie sur une architecture de Mixture of Experts (MoE) qui fait appel de manière sélective uniquement aux modèles experts nécessaires afin d’améliorer l’efficacité de calcul des modèles à grande échelle. Rebellions a optimisé un logiciel dédié pour le modèle MoE et a appliqué une technologie permettant de répartir diverses opérations sur les NPU afin d’assurer un traitement parallèle. Cela a permis à un seul serveur de traiter plusieurs demandes d’utilisateurs en temps réel. La société a indiqué qu’un seul Rebel Server permet d’obtenir des performances d’infrastructure comparables à celles de serveurs GPU hautes performances à l’échelle mondiale, tout en réduisant les charges liées à la construction des data centers et à leur exploitation.

Rebel Server démontre un service d’agent IA multi-utilisateurs en temps réel

Lors de la démonstration, Rebellions a présenté un service d’agent dans lequel les utilisateurs pouvaient poser des questions telles que « pharmacies ouvertes le week-end » et recevoir des résultats affichés sur une carte. Le système a traité les réponses en temps réel, même dans des environnements où plusieurs utilisateurs saisissaient simultanément des questions différentes. La démonstration a validé la capacité du serveur à gérer des charges de travail multi-utilisateurs concurrentes avec des performances stables.

Rebellions participe au projet gouvernemental de modèles de fondation IA

Park Sung-hyun, PDG de Rebellions, a déclaré : « C’est un cas concret d’IA souveraine montrant que des services d’IA à grande échelle peuvent être opérés en n’utilisant que des modèles ultragrands nationaux et des NPU nationales. » Rebellions participe, en tant que membre d’un consortium rattaché à SK Telecom, au projet du ministère des Sciences et des TIC sur les modèles de fondation IA indépendants, où elle est chargée de démontrer une infrastructure d’IA basée sur des NPU nationales.

FAQ

Qu’est-ce que Rebellions a réussi à accomplir avec le modèle A.X K1 de SK Telecom ?

Rebellions a réussi à exécuter le modèle d’IA A.X K1 de SK Telecom, qui compte plus de 500 milliards de paramètres, sur son Rebel Server reposant sur des NPU nationales. La société a démontré un service d’agent IA capable de gérer plusieurs demandes d’utilisateurs en même temps, en temps réel.

Comment le Rebel Server de Rebellions gère-t-il efficacement les grands modèles d’IA ?

Rebel Server optimise le logiciel pour l’architecture Mixture of Experts (MoE) utilisée dans A.X K1, en répartissant diverses opérations sur les NPU pour le traitement parallèle. Cela permet à un seul serveur d’obtenir des performances d’infrastructure comparables à celles des serveurs GPU hautes performances mondiaux tout en traitant plusieurs demandes d’utilisateurs en temps réel.