Muse Spark 1.3 de Meta se vuelve más rápido cuando se le exige más, pero aún aprueba solo 14 de 23 tareas.
La barrida de 92 ejecuciones de Morgan Linton encontró que un menor esfuerzo hizo que el modelo de Meta fuera más lento y menos preciso, mientras que Astra y Fable 5.1 aprobaron por completo las 23 tareas.
By Ryan Merket · Published
Primary source: Morgan Linton on X
Por qué importa
Los resultados de VulcanBench muestran por qué los equipos no pueden asignar trabajo de codificación basándose únicamente en las puntuaciones de lanzamiento de máximo esfuerzo. Muse Spark 1.3 siguió siendo económico, pero sus ajustes más bajos le costaron precisión y tiempo.
Morgan Linton (@morganlinton), el creador de VulcanBench, descubrió que el Muse Spark 1.3 de Meta aprobó completamente 14 de 23 tareas de codificación en su mejor nivel de esfuerzo probado, quedando detrás de GPT-6 Astra y Claude Fable 5.1 en la misma batería de pruebas ocultas.
…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.