Meta dice que Muse Spark 1.2 gana 12.2 puntos cuando se le dan herramientas
MSL de Alexandr Wang informa que su modelo queda rezagado respecto a su predecesor sin herramientas y lo supera cuando se combina con el runtime de Meta.
By RuntimeWire Staff · Published
Primary source: AI at Meta
Por qué importa
El gráfico de Meta muestra que Muse Spark 1.2 queda rezagado frente a la versión 1.1 sin herramientas y se adelanta una vez que se habilitan las herramientas. Para los equipos que compran o desarrollan agentes, eso desplaza el escrutinio hacia la configuración completa del modelo y del tiempo de ejecución, incluidos sus controles de contención, en lugar de centrarse únicamente en el punto de control del modelo.
Alexandr Wang's Meta Superintelligence Labs, la organización interna de IA de Meta, informó el 20 de agosto que Muse Spark 1.2 obtuvo 72.0 en 10 evaluaciones multimodales cuando pudo usar herramientas, frente a 59.8 sin ellas. La comparación recién publicada pone un número al esfuerzo de MSL por entrenar el modelo junto con el entorno de ejecución en el que trabaja.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.