Alibaba Cloud адаптує Kimi K3 LLM і знижує затримку першого токена на 35%

BABA0,54%
За даними Security Times, 27 липня Alibaba Cloud адаптувала свої суперноду-інстанси Lingjun Zhenwu M890, щоб запускати Kimi K3 — велику мовну модель. Спільна оптимізація на рівні чипів, інференсної платформи та самої моделі зменшила затримку першого токена — час, який потрібно моделі, щоб почати показувати результат, — приблизно на 35%, покращивши плавність взаємодії під час довгого контексту. Також Alibaba Cloud повідомила, що надаватиме API для Kimi K3 через свою AI-платформу Qianwen та Bailian, а обидві сторони поглиблюватимуть співпрацю із використанням вітчизняних обчислювальних потужностей.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів