Moonshot publica el informe sobre el Kimi K3, detallando cómo funciona un modelo abierto 2.8T
El informe del 27 de julio detalla la atención híbrida, el enrutamiento de expertos 16-de-896 y una pila de servicio que aún requiere escala de centros de datos.
By Ryan Merket · Published
Primary source: X
Por qué importa
K3 muestra que los pesos abiertos por sí solos no hacen que un modelo de vanguardia sea práctico. Los modelos en borrador, los sistemas de caché y el servicio a escala de aceleradores ahora dan forma a la distribución y al costo.
Zhilin Yang's Moonshot AI lanzó los pesos completos y el informe técnico de Kimi K3 el 27 de julio, documentando la arquitectura e infraestructura detrás de un modelo de 2.8 billones de parámetros que activa 104 mil millones de parámetros por cada token.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.