AMD lanza Instella-MoE para mostrar el entrenamiento de extremo a extremo en las Instinct GPUs.
El modelo de 16 mil millones de parámetros activa 2,8 mil millones de parámetros por token y se distribuye con seis puntos de control, recetas de entrenamiento y código.
By Ryan Merket · Published
Primary source: X
Por qué importa
Instella-MoE ofrece a los equipos de IA una prueba reproducible de la pila de AMD para el entrenamiento de modelos dispersos y el aprendizaje por refuerzo (RL), aunque su licencia de pesos solo para investigación limita el uso comercial.
Los investigadores de AMD dirigidos por Jiang Liu y Prakamya Mishra (@PrakamyaMishra) publicaron Instella-MoE el 24 de julio, proporcionando a los desarrolladores los pesos y artefactos de entrenamiento para un modelo de lenguaje mixture-of-experts construido desde cero en GPUs AMD Instinct.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.