Hugo Vergnes entrenó un modelo de 3.8B por un costo reportado de $998
El proyecto independiente little-lm procesó 65.3 mil millones de tokens y obtuvo una puntuación de 0.384 en CORE tras un fallo anterior de seis días.
By RuntimeWire Staff · Published
Primary source: Hugo Vergnes
Por qué importa
Vergnes atribuye la convergencia y el rendimiento detrás de su ejecución reportada de 3.8 mil millones de parámetros a ClimbMix, Muon, FP8, el relleno de vocabulario y GPUs B200 rentadas. La cifra de $998 es un costo de ejecución reportado, no un costo total del proyecto documentado, porque el escrito no desglosa la mano de obra de desarrollo, los experimentos fallidos, el almacenamiento, la preparación de datos u otros gastos generales.
Hugo Vergnes entrenó un modelo de lenguaje de 3.848 millones de parámetros desde pesos aleatorios por un costo reportado de $998 en tiempo de GPU alquilado. Dice que escribió el proyecto por las noches.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.