Explorative Modeling añade búsqueda best-of-K al preentrenamiento de modelos generativos
El método de código abierto de Alexi Gladstone emplea cómputo adicional durante el entrenamiento y reporta mejoras en modelos de imagen, video y de lenguaje enmascarado.
By Ryan Merket · Published
Primary source: X
Por qué importa
XM replantea el escalamiento generativo en torno a la búsqueda durante el entrenamiento. Si sus ganancias de eficiencia se mantienen en modelos más grandes, los laboratorios podrían intercambiar trabajo extra de preentrenamiento por una inferencia más económica y un mejor uso de los datos.
Alexi Gladstone (@AlexiGlad) detalló un nuevo método de entrenamiento de modelos generativos el 31 de julio que busca varios outputs candidatos para cada ejemplo y entrena con la coincidencia más cercana, desplazando el cómputo hacia el preentrenamiento en un esfuerzo por producir mejores modelos y una inferencia más barata.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.