Artificial Analysis comienza a contar cuando los agentes de codificación rechazan el trabajo
El índice de Micah Hill-Smith y George Cameron ahora separa los intentos bloqueados de los agentes que se recuperan mediante un mecanismo de respaldo.
By RuntimeWire Staff · Published
Primary source: Artificial Analysis on X
Por qué importa
El rendimiento de los agentes de codificación depende de las políticas del proveedor así como de la capacidad del modelo. Al separar los intentos bloqueados de las alternativas de respaldo exitosas, Artificial Analysis ofrece a los desarrolladores una visión más clara de si un agente puede completar trabajos legítimos de seguridad y operaciones de terminal cuando intervienen las salvaguardas.
Artificial Analysis, cofundada por Micah Hill-Smith (@_micah_h) y George Cameron, añadió informes de rechazos por seguridad a su Coding Agent Index el 18 de septiembre, dando a conocer con qué frecuencia un proveedor o modelo de IA rechaza trabajo de referencia por motivos de seguridad. Artificial Analysis anunció la incorporación en X junto con la versión 1.5 de su benchmark de agentes de código.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.