Alibaba Cloud Mengadaptasi Kimi K3 LLM, Mengurangi Latensi Token Pertama hingga 35%

BABA0,54%
Menurut Security Times, pada 27 Juli Alibaba Cloud menyesuaikan instance supernode Lingjun Zhenwu M890 agar dapat menjalankan Kimi K3, sebuah model bahasa besar. Optimasi bersama pada chip, platform inferensi, dan model menurunkan latensi token pertama—waktu yang dibutuhkan model untuk mulai menampilkan output—sekitar 35%, sehingga meningkatkan kelancaran interaksi dengan konteks panjang. Alibaba Cloud juga menyatakan akan menyediakan API untuk Kimi K3 melalui Qianwen AI Platform dan Bailian, dengan kedua pihak memperdalam kerja sama untuk kekuatan komputasi domestik.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar