ReViSQL-K2.6 de Thinking Machines obtiene 91.37% en la evaluación SQL depurada
ReViSQL-K2.6 alcanzó 88.55% con decodificación greedy y 91.37% con consistencia interna de 16 muestras en el benchmark Arcwise-Plat-SQL corregido.
By RuntimeWire Staff · Published · Updated
Primary source: Thinking Machines Newsroom
Por qué importa
ReViSQL respalda el argumento de Murati de que el entrenamiento especializado puede superar a modelos más grandes y a flujos de trabajo de agentes intrincados, pero también expone la factura: la limpieza experta de datos y las recompensas cuidadosamente diseñadas siguen siendo esenciales.
Thinking Machines Lab de Mira Murati (@miramurati) y cuatro investigadores académicos entrenaron un solo modelo que supera a pipelines elaborados de agentes de texto a SQL, después de descubrir que errores infestaban los datos de benchmark usados para enseñar y evaluar esos sistemas.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.