White Circle publica RISE como código abierto tras descubrir que las salvaguardas de los modelos de imagen siguen fallando
La empresa de seguridad en IA con sede en París reporta una tasa de ataques verificada por humanos del 13.3% en DALL·E 3 y tasas más altas en dos modelos de imagen más recientes.
By Ryan Merket · Published · Updated
Primary source: X
Por qué importa
RISE hace concreto el problema de la medición en el red-teaming de IA: las tasas de ataque dependen de lo que cuenta como una violación y de cómo se calibra el juez. Los resultados de White Circle también muestran que un modelo público no fronterizo puede sondear las salvaguardas de imágenes comerciales, reforzando el caso a favor de la evaluación independiente, a la vez que deja abierta la pregunta de cómo los evaluadores externos obtendrán acceso duradero e independencia.
White Circle ha publicado como código abierto RISE, un sistema de red-teaming que busca formas reutilizables de hacer que los generadores de imágenes eludan sus salvaguardas. La compañía dice que sus pruebas encontraron imágenes prohibidas confirmadas por humanos en DALL·E 3 y en modelos más recientes de OpenAI y Google DeepMind. Su anuncio en X pide monitoreo independiente por terceros de los modelos de IA.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.