Tencent lanza el modelo Hy3 cuantizado con 295 mil millones de parámetros, desplegable en una sola GPU

TENCENT-0,30%
Recientemente, Tencent Hunyuan lanzó versiones cuantizadas de su modelo Hy3 en respuesta a solicitudes de la comunidad, permitiendo que el modelo de 295 mil millones de parámetros se ejecute en una sola GPU de inferencia o incluso en máquinas locales con suficiente memoria. El equipo cuantizó los pesos de Hy3 a precisión de 1-bit y 4-bit, los empaquetó en formato GGUF e los integró con el ecosistema de llama.cpp, haciendo que lo que antes requería clústeres de múltiples GPU ahora sea accesible para escenarios de despliegue más amplios.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios