Robocurve encuentra que los modelos de control de robots rara vez rechazan instrucciones peligrosas
Robocurve de Jay Chooi probó tres sistemas de IA en 300 ensayos con brazos robóticos que involucraron cinco instrucciones peligrosas.
By RuntimeWire Staff · Published
Primary source: Robocurve
Por qué importa
En 300 ensayos fijos, Fable registró 20 rechazos por seguridad, Astra registró dos y MolmoAct2 no registró ninguno. Robocurve puntuó las acciones intentadas por separado de los daños completados, evitando que un rendimiento de manipulación deficiente fuera confundido con una negativa deliberada.
Jay Chooi (@chooi_jeq) construyó Robocurve para reemplazar las demostraciones pulidas de robots con pruebas reproducibles. El 18 de septiembre, el evaluador de San Francisco publicó su última evidencia de que la brecha de medición se extiende a la seguridad. Los principales sistemas de IA que controlan dos brazos robóticos generalmente intentaron seguir instrucciones que podrían causar daño físico.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.