Warp 推出 Factory Benchmarks,以测试工作团队中的智能代理实际上做什么

Zach Lloyd 正在将过去的代理运行转化为模型评估和路由规则,但其内部的成本主张仍需外部证实。

By · Published

Primary source: Warp on X

为何重要

编程代理的成本取决于团队的代码、工具和任务组合。Warp 正在出售测量和路由层,这能将模型的快速更迭转变为运营优势。

Abstract digital agents are rigorously tested on virtual workbenches within a sophisticated, futuristic factory environment, displaying performance data and routing rules.

Zach Lloyd (@zachlloydtweets) 于 9 月 3 日在 Warp 的 agent 基础设施中推出了 Factory Benchmarks,为工程团队提供了一种方法,可以将编码模型与他们自己的历史任务进行比较,并根据结果为未来工作制定路由。

Lloyd 在 2020 年创办了 Warp,旨在重建他认为在四十年间几乎未曾改变的终端界面。根据 Warp 的团队简介,这位前 Google 资深工程师曾负责 Google Sheets 及更广泛的 Google Docs 套件的工程工作,之后成为 TIME 的 CTO 并共同创立了 SelfMade。此后他大幅扩展了 Warp 的原始论点。Warp 现在希望为一大批编码代理提供控制平面,包括决定哪个模型应处理每个工单的系统。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.