El fundador de VulcanBench alcanza los límites de uso de Muse Wonder antes de terminar un benchmark
Morgan Linton dice que los límites de Muse Code impidieron una ejecución completa de VulcanBench, lo que plantea una primera interrogante sobre el costo por tarea del nuevo modelo de codificación de Meta.
By Ryan Merket · Published · Updated
Primary source: X
Por qué importa
La prueba de Linton plantea una pregunta de compra para los equipos que consideran las afirmaciones de Meta sobre agentes: ¿cuánto trabajo de ingeniería útil cabe dentro de la asignación de uso de un modelo? Una comparación completa del costo por tarea importará más que el precio por token o una sola ejecución inicial.
Morgan Linton, fundador del benchmark de código de código abierto VulcanBench, dice que agotó el límite de uso semanal de Muse Code antes de poder terminar una ejecución completa de referencia del nuevo modelo Muse Wonder de Meta. Su publicación del 13 de octubre llegó un día después de que Meta lanzara Muse Wonder y Muse Wonder Full, poniendo el costo del modelo en foco antes de que Linton hubiera completado una evaluación comparable.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.