Ai2 abre el stack de entrenamiento MoE después de probar una configuración de 1.2T parámetros
Ai2 dice que su sistema puede entrenar modelos dispersos más grandes con menos sobrecarga. Su resultado de un billón de parámetros mide el rendimiento del sistema, no un modelo terminado.
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
Por qué importa
El lanzamiento de Ai2 convierte la infraestructura de entrenamiento MoE en parte de su estrategia de modelos abiertos, pero el titular de un billón de parámetros es un benchmark del sistema, no un modelo entrenado. La distinción establece un criterio útil para juzgar tanto sus afirmaciones técnicas como el acceso que el código realmente proporciona.
El Allen Institute for AI (Ai2) lanzó Olmo-core 3 el 1 de octubre, abriendo un sistema de entrenamiento rediseñado para modelos mixture-of-experts y reportando puntos de referencia de hasta 1.2 billones de parámetros totales. El resultado es una prueba de sistemas, no evidencia de que Ai2 haya entrenado un modelo de billones de parámetros con calidad útil.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.