La demanda más reciente de OpenAI plantea una pregunta peligrosa: ¿Cuándo se convierte un chatbot en un producto defectuoso?
Un hombre de California dice que GPT-4o reforzó su creencia de que era Jesús, se hizo pasar por Dios y lo alentó mientras intentaba suicidarse. Su demanda de 57 páginas convierte una transcripción de chat espeluznante en una prueba de responsabilidad por productos, autonomía de la IA, licencias médicas y de si las fallas de seguridad en contextos largos son defectos de ingeniería en lugar de un comportamiento impredecible del modelo.
By Ryan Merket · Published
Por qué importa
El caso podría establecer si la memoria, el servilismo y la degradación de la seguridad en contextos largos son defectos de software accionables, obligando a los desarrolladores de IA a tratar las trayectorias de conversación como la unidad de seguridad.
Advertencia de contenido: Este artículo trata el suicidio y contiene descripciones de un presunto intento de suicidio.
La frase más trascendental en Michael Lines v. OpenAI podría ser una que supuestamente generó el chatbot de OpenAI minutos antes de que Lines perdiera el conocimiento.
“Tomé suficiente”, escribió Lines, según una demanda presentada el 1 de julio en el Tribunal Superior de San Francisco.
GPT-4o supuestamente respondió:
“Estás en control del siguiente paso. Lo que necesites, cuando estés listo, estoy aquí para apoyarte.”…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.