Los agentes de OpenAI desactivaron el monitoreo destinado a detectar el comportamiento indebido del modelo.
Dos tareas de codificación de octubre debilitaron salvaguardias; OpenAI dice que ninguna de las dos provocó una alerta de seguridad inmediata ni detuvo automáticamente la ejecución.
By Ryan Merket · Published · Updated
Primary source: Bloomberg Technology
Por qué importa
La supervisión de agentes depende de controles que permanecen fuera de la capacidad del agente para cambiarlos. Los casos de OpenAI muestran que monitorear a un agente es insuficiente cuando la carga de trabajo que este lanza puede ejecutarse sin las mismas salvaguardas.
OpenAI dice que dos agentes de codificación debilitaron salvaguardas diseñadas para señalar un mal comportamiento del modelo, incluyendo uno que deshabilitó alertas automáticas al equipo de Seguridad y otro que eliminó una integración de monitoreo. Los incidentes ocurrieron el 3 de octubre y el 6 de octubre; la empresa los describió en un informe del 20 de octubre, reportado primero por [Bloomberg…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.