Devin 迁移了 Cognition 的站点并记录了自己的验证运行。

Jared Palmer 说,Astro-to-Next.js 项目使用录制的测试来重现微妙的故障,尽管 Cognition 没有发布任何范围或性能数据。

By · Published

Primary source: X

Why it matters

Cognition's central bet depends on agents returning evidence, not just code. Recorded testing could reduce the review burden as engineering teams delegate more production work asynchronously.

Devin migrated Cognition's site and recorded its own verification runs

Cognition,由 Scott Wu (@ScottWu46)Steven Hao (@stevenkplus1)Walden Yan (@walden_yan) 创立,据 Jared Palmer (@jaredpalmer)一则推文 中表示,使用了 Devin 将其营销网站从 Astro 迁移到 Next.js,代理对结果进行了测试并记录了运行,这些运行有助于重现细微的错误并确认修复。

Jared Palmer 在 X 上

迁移本身的具体时间尚不清楚,因此这一事件更适合作为内部案例研究而非新产品发布来解读。Palmer 没有公布仓库、持续时间、更改的文件数量、部署状态或前后性能数据。他的叙述也没有量化人工贡献,包括谁制定了迁移范围、谁审查了输出以及谁批准了最终部署。

这些信息的缺失限制了该迁移对“自治”能力所能证明的范围。更有意义的细节仍然是测试工作流。一个会改变框架的代理可以产生令人印象深刻的差异(diff),同时悄悄破坏导航、样式、认证、分析或浏览器特定的行为。Palmer 的描述称 Devin 使用记录的执行回放来定位这些细微的失败并验证后续修复,使得运行本身成为工程师可以检查的工件。

创始人的赌注进入审查阶段

Wu 和他的联合创始人把 Cognition 建构在“委派”而非内联代码补全之上。Cognition 所述的目标是:创建一个接受软件任务、在仓库和开发环境中工作,并返回可供审查的成品的代理。创始团队来自竞技编程:Cognition 表示其创始团队合计拥有 10 枚 International Olympiad in Informatics 金牌,并且成员来自 Scale AI、Cursor、Lunchclub、Google DeepMind、Modal、Waymo 和 Nuro 等公司。

Wu 是一位三次 IOI 金牌得主,曾联合创办 Lunchclub,他描述过 Cognition 的目标是让人们更容易构建可靠软件,同时让工程师更多地转向系统设计和问题定义。此次营销站点迁移与该理念契合度极高。框架转换的范围足够明确,可以分解为具体步骤,但又足够广泛,能够检验代理是否能在真实代码库中导航、保持行为并在代码编译后捕捉回归。

Palmer 也是这个工作的有力传达者。他的个人网站 将他标识为 Cognition 的工程副总裁。他的描述来自 Cognition 的工程副总裁,而非其创始人之一。

记录成为交付物的一部分

Cognition 在 2026 年一直在向 Devin 添加记录化验证功能。今年二月,Cognition 发布了 Devin 2.2,带来了桌面计算机使用、自我验证和自动修复。Cognition 的 computer-use 文档 表示 Devin 能安装依赖、启动应用、生成测试计划、与界面交互,并返回带注释的运行视频。

Cognition 工程师 Ido Pesok 在 5 月 29 日的文章 中描述了这一战略性思考。随着更多代理会话通过计划、自动化和其他代理发起,工程师无法实时监看每一步。输出需要足够的证据,让后来回来的某个人判断更改是否已准备好审查。Cognition 表示 Devin 还可以将经常性的测试程序转化为可重用的技能,这与 Palmer 的解释相吻合:验证脚本可以存储在会话便笺中,或在并行的子会话中重复使用。

该工作流解决了异步编码代理带来的一个基本问题:它们使得可供审查的代码量增长速度快于工程师理解这些代码的能力。屏幕录制本身并不能证明正确性,但它可以通过显示运行了哪些流程、代理观察到了什么以及报告的修复是否在暴露该错误的相同序列下存活,来使审查范围更窄、更聚焦。

Cognition 自己的 2025 年绩效评估 明确划定了边界。Cognition 表示 Devin 在具有明确需求和可验证结果的任务上表现最佳,而模糊的项目和测试逻辑仍然需要人工判断。一次框架迁移可能位于该边界的任一侧。诸如构建通过、路由保持和视觉行为稳定等接受标准是可测试的;关于架构、可访问性、长期可维护性和性能权衡的决策则更难被简化为一次记录的运行。

独立测试此前已展示了在划错该边界时的代价。2025 年 1 月,Answer.AI 报告 在其分配给早期版本 Devin 的 20 个任务中出现 14 次失败、3 次不确定结果和 3 次成功。研究人员发现 Devin 在处理规格不清或不熟悉的工作时可能会卡住。该评估早于 Cognition 2026 年的验证发布,且未评估此次 Astro 迁移,但它解释了为什么附在输出上的证据已成为 Cognition 产品宣传的核心。

Cognition 需要能与估值相匹配的证明

内部迁移也具有商业目的。Cognition 在 5 月表示(链接),其在一轮由 Lux Capital、General Catalyst 和 8VC 领投的融资中筹得超过 10 亿美元,事后估值为 260 亿美元。Cognition 还报告了 4.92 亿美元的年化运行率收入,并自 2026 年初以来企业使用量增长超过十倍。这些数据为公司自报,Cognition 尚未在公告中附上经审计的财务报表。

在那个规模上,Cognition 销售的是针对工程组织的运营模式,而不是一个巧妙的代码生成器。Astro 到 Next.js 的迁移为潜在客户提供了该论点的简明版本:指派一个现有的生产项目,让代理进行更改,并在代码之外收到可检查的证据。

Palmer 的推文没有断言实现了零接触迁移,也没有衡量 Devin 是否在时间、成本或质量上超过了经验丰富的工程师。它确实展示了 Wu、Hao 和 Yan 将 Cognition 的产品工作集中在哪些方面。代码生成已经泛滥;Cognition 的赌注是规划、执行、测试和可审查的证据能使自治工作变得足够可靠以合并入主干。

Reader comments

Conversation for this story loads after sign-in.