Em 28 de julho, Moonshot AI anunciou ontem à noite que abriria o código-fonte dos pesos do modelo Kimi K3, lançaria um relatório técnico e abriria simultaneamente três tecnologias principais de infraestrutura (Infra): MoonEP, FlashKDA e AgentEnv. Esta abertura abrange modelos, métodos de formação e sistemas de formação subjacentes. Os desenvolvedores podem baixar modelos para implantação e desenvolvimento secundário. O escopo específico de uso deve estar em conformidade com a licença Kimi K3.
De acordo com a introdução oficial, o Kimi K3 adota uma arquitetura híbrida especialista (MoE), com uma escala total de parâmetros de 2,8 trilhões, recursos nativos de compreensão visual e suporte para 1 milhão de janelas de contexto de token. Comparado com a geração anterior do Kimi K2.5, a escala de parâmetros do Kimi K3 foi aumentada cerca de 3 vezes. O Dark Side of the Moon afirmou que com recursos de computação limitados, usando tecnologias como Kimi Delta Attention, Attention Residuals e MoonEP, a eficiência da escala do seu modelo aumentou aproximadamente 2,5 vezes.
Também divulgado simultaneamente com os pesos dos modelos está o relatório técnico do Kimi K3. De acordo com o conteúdo público, o relatório revelou muitos detalhes técnicos de treinamento de modelo e design de arquitetura, incluindo estrutura de atenção híbrida KDA e Gated MLA, mecanismo de roteamento especializado Stable LatentMoE, solução de treinamento de codificador visual MoonViT-V2 e treinamento pós-modelo e métodos de avaliação. Entre eles, o modelo adota um design MoE com 896 especialistas em roteamento e 16 especialistas ativados por cada token, e abrange o treinamento e avaliação de múltiplas capacidades, como raciocínio geral, agente e agente de programação.
Além do modelo em si, Dark Side of the Moon também anunciou o código aberto das principais tecnologias de infraestrutura que suportam o treinamento do Kimi K3. Entre eles, MoonEP é um conjunto de bibliotecas de comunicação paralela especializadas de alto desempenho para modelos MoE em grande escala; FlashKDA é Kimi Delta Para o operador de computação de alto desempenho correspondente à Atenção, dados oficiais mostram que sua velocidade de pré-preenchimento no NVIDIA H20 é 1,72 a 2,22 vezes maior do que a linha de base de atenção linear do flash; AgentEnv é um sistema sandbox de agente desenvolvido em conjunto por Dark Side of the Moon e KVCache.ai, que pode oferecer suporte a recursos como instantâneos rápidos, recuperação e Fork, e é usado em ambientes de treinamento de agentes em grande escala.
O Dark Side of the Moon afirmou que esta abertura visa promover o desenvolvimento de um modelo de ecossistema aberto e ponderado. Espera reduzir o limiar de implantação e desenvolvimento de modelos, abrindo modelos, métodos de treinamento e infraestrutura subjacente, e fornecendo recursos técnicos mais reutilizáveis para a comunidade de IA e pesquisas relacionadas.