Trajectory lance la plateforme open-source SkyRL et obtient une amélioration de débit de 2,81x

D’après OneMillion_AI, Trajectory, en collaboration avec le Sky Computing Lab de l’UC Berkeley et Anyscale, a récemment annoncé la plateforme open-source SkyRL ainsi que l’architecture de formation Multi-LoRA pour l’affinage des grands modèles de langage. Le système répond aux inefficacités de l’optimisation traditionnelle des modèles en conservant une base de modèle partagée en mémoire GPU tout en traitant plusieurs expériences d’affinage comme des modules d’adaptation légers. Les tests ont montré que le débit des expériences de bout en bout a augmenté de 2,81 fois, avec un débit absolu à l’échelle d’un seul nœud amélioré de 3,25 fois, permettant aux grands modèles d’atteindre un niveau d’auto-évolution à l’échelle de l’heure grâce à des données de production en temps réel. Le code d’entraînement est désormais disponible dans le dépôt SkyRL.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire