MameLoshnLM adapta Llama 3.1 con 915 millones de palabras en yidis
Uri Katz y cuatro coautores construyeron el modelo 8B con texto yidis curado después de encontrar que un corpus web común clasificaba erróneamente páginas en hebreo y páginas traducidas por máquina.
By Ryan Merket · Published
Primary source: X
Por qué importa
MameLoshnLM muestra cómo textos web mal etiquetados y mal traducidos pueden distorsionar la aparente fluidez de un modelo. El corpus del equipo, el benchmark y los resultados abiertamente inspeccionables ofrecen un enfoque comprobable para el desarrollo de modelos específicos por idioma, aunque los pesos están restringidos para uso no comercial.
Uri Katz y cuatro coautores construyeron MameLoshnLM continuando el entrenamiento del Llama 3.1 8B de Meta con más de 915 millones de palabras en yidis. El trabajo aborda un problema que una etiqueta de idioma en un conjunto de datos de entrenamiento puede ocultar: gran parte del texto puede no representar el idioma en absoluto. El artículo y el modelo del equipo estuvieron disponibles antes de que Katz describiera el trabajo en un hilo del 6 de octubre en X.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.