Specific Labs lanza Real-SWE, donde 38.8% es suficiente para el primer lugar
Los cofundadores de Specific Labs, Janak Sunil y Siddhant Paliwal, crearon el benchmark a partir de código de producción con licencia, convirtiendo una pregunta recurrente de laboratorio en un producto de datos.
By RuntimeWire Staff · Published
Primary source: Specific Labs
Por qué importa
Los puntajes públicos de codificación pueden recompensar la familiaridad con repositorios visibles. Real-SWE prueba sistemas de producción desconocidos, al tiempo que le proporciona a Specific una vía para convertir fallos de evaluación en clientes de datos de entrenamiento.
Specific Labs cofundadores Janak Sunil (@janaksunil) y Siddhant Paliwal (@siddhantpa1iwal) han lanzado Real-SWE, un benchmark que pone a agentes de codificación a trabajar sobre codebases privadas y con licencia en producción. Las tareas abarcan facturación, impuestos, migraciones de clientes y cambios de infraestructura en lugar de errores aislados sacados de repositorios públicos.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.