De acordo com relatórios monitorizados pela Beating e The Information, a Moonshot AI deu início a discussões sobre Kimi K4 com uma escala substancialmente maior do que a do K3, embora a empresa esteja activamente à procura de chips Nvidia Blackwell e enfrente limitações significativas de hardware. A The Information também noticiou que parte do treino do K3 foi concluída na China, e não apenas em centros de dados na Tailândia.
A implementação do K3, que atingiu 28 mil milhões de parâmetros, foi concluída ao ligar vários servidores com oito GPUs em diferentes prestadores de cloud chineses devido à capacidade individual insuficiente. Desde o lançamento do K3, a capacidade de computação em operação tem sido pressionada; a empresa suspendeu novas subscrições no prazo de 48 horas devido ao aumento da procura por parte dos utilizadores. O calendário do K4 continua, neste momento, por determinar, dependendo da disponibilidade de chips Blackwell adicionais.