hillclimb les da a los agentes de IA 48 horas para mejorar tareas reales de aprendizaje automático
El nuevo benchmark evalúa a los agentes en 15 problemas derivados de la investigación, usando verificadores privados para juzgar si sus cambios se sostienen frente a datos que no pueden ver.
By Ryan Merket · Published · Updated
Primary source: X
Por qué importa
DeepRSI orienta la evaluación hacia trabajo sostenido de aprendizaje automático con controles privados, mientras que sus resultados permanecen limitados por el diseño de tareas de Hillclimb, la configuración fija del agente y dos ejecuciones por modelo. Las puntuaciones altas evidencian una mejora en la tarea, no una auto-mejora recursiva por sí mismas.
Jun Park (@jparkjmc) presentó DeepRSI el 12 de octubre como un benchmark para probar si agentes de IA pueden mejorar sistemas de aprendizaje automático durante una ejecución de 48 horas. Desarrollado por hillclimb de Park (hillclimb) con tres coautores, ejecuta agentes en 15 tareas abiertas tomadas de entornos de investigación y puntúa sus mejoras frente a líneas base específicas de cada tarea. El benchmark DeepRSI y su metodología están publicados en línea.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.