hillclimb 让 AI 代理有 48 小时来改进真实的机器学习任务
新的基准在15个研究衍生的问题上对代理进行评分，使用私有验证器来判断代理所做的更改是否能在代理无法访问的数据上经得起检验。
By Ryan Merket · Published
Primary source: X
为何重要
DeepRSI 将评估方向转向持续的机器学习工作并辅以私有检查，然而其结果仍受限于 Hillclimb 的任务设计、固定代理设置以及每个模型仅两次运行。高分表明的是任务改进，而不是自身就代表递归自我改进。
Jun Park (@jparkjmc) 在 10 月 12 日推出了 DeepRSI，作为一个基准，用来测试 AI 代理是否能在 48 小时运行中改进机器学习系统。由 Park 的 hillclimb 与三位合著者构建，该基准在来自研究环境的 15 个开放式任务上运行代理，并将它们的改进与任务特定的基线进行比较。 DeepRSI 基准及其方法论 已在线发布。
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.