Deltix 将 AI 应用探索与可重放的 iOS 回归测试配对

其 Mac 代理将应用程序二进制文件保存在本地,而屏幕截图和界面数据仍会传送到 Deltix 的云端和 Anthropic。

By · Published

Primary source: Deltix

Why it matters

Deltix is testing whether AI can discover a mobile flow once, then convert it into a repeatable regression check without sending the app binary to a testing cloud.

AI-driven iOS app testing architecture with local processing and cloud AI integration (Isotype infographic poster with mid-century pictograms)

Deltix 正在为 iOS 开发者提供一个 AI 测试代理,该代理在本地运行的模拟器内尝试用普通英语描述的任务,记录其成功或卡住的地方,并将成功的运行转换为可重用的回归检查。

这款公开测试版产品反映了 Deltix 构建者的一个明确押注:当探索性的工作可以被保留为传统测试时,AI 测试器会更有用。开发者可以让代理执行“注册并发送你的第一条消息”,观察它如何在界面中导航,并将完成的路径保存为供后续构建使用的 Playbook。

Deltix 从一个刻意受限的设置开始。开发者安装一个本地的 Mac Agent,连接已在机器上运行的 iOS Simulator,并通过 Deltix 提交任务。应用二进制文件、源代码和签名凭证仍保留在本地。代理基于它所遇到的界面来执行操作,从而为开发者展示首次用户可能如何通过一个陌生流程移动。

这种方法为 Deltix 提供了进入移动测试的实用切入点。当前产品并不试图替代质量保障栈的每一层。它关注的问题是常常在“全部通过”的单元测试套件之后依然存在的问题:用户能否完成该产品旨在支持的任务?

Turning an exploration into a test

Deltix 将产品围绕三种模式组织。Task 处理一次性的探索。Playbook 保存并重复成功的路径。Experiment 在两个构建上运行相同任务,允许产品团队比较所提议的界面是帮助还是阻止代理完成任务。

从探索到重放的序列是重要的设计选择。基于代理的测试可以适应界面,并遇到开发者未显式编写脚本的路径。回归测试有不同的要求:团队需要可重复的检查,其失败应指向产品变更而不是模型改变了主意。

Deltix 表示,成功的探索性运行会变为一个确定性的 Playbook,在后续构建上使用相同的交互和目标。这可能会减少与 XCUITest 套件相关的一些定位器和断言维护工作。Deltix 尚未在其官网页面上发布比较可靠性的数据,因此该主张最终将由 Playbook 在布局、标签、时序和模型依赖性变化后如何表现来评判。

Deltix 的 beta terms 设定了更为谨慎的界限。它们声明验证结果仅供参考,不保证在各次运行中准确、完整或稳定。它们还将误报和漏报的责任置于开发者。吸引人的架构将概率性发现与固定重放路径分离;Deltix 需要将这种分离阐明到足以让开发者理解哪些结果可以在发布流程中被信任的程度。

Local execution still sends interface data to the cloud

Deltix 的本地代理模型降低了尝试新测试服务的一个较大成本:开发者无需上传他们的构建或源代码仓库。然而,这一隐私边界比完全本地测试要窄。

Deltix 的 privacy notice 表示,截图、无障碍(accessibility)树捕获、操作描述和运行元数据会离开 Mac。该信息会通过 Deltix 的云基础设施和 Anthropic's Claude API 进行导航、评分和自愈处理。发现结果、保存的 Playbooks 以及运行数据会存储在 Deltix 的数据库中。

这一区别很重要,因为测试屏幕即便在底层二进制文件从未离开开发者笔记本的情况下,也可能暴露凭证、客户记录、健康信息和内部产品细节。Deltix 指示用户依赖测试环境并避免使用生产客户数据、凭证、受保护的健康信息、教育记录以及涉及 13 岁以下儿童的数据。

据 Deltix 所述,开发者可以提供自己的 model key,尽管公开资料并未描述一个完全离线的推理模式。因此,本地代理最好被理解为本地执行加云端辅助推理,而不是一个完全在设备上运行的测试系统。

Deltix 的公开页面也描述了不同的访问规则。登陆页将产品称为无需邀请的公开 beta。隐私声明和测试版条款(均为 2026 年 5 月 6 日)则描述了以美国和加拿大为中心的仅限邀请的 beta。该不匹配可能反映了测试范围的扩大,但当前的法律文本仍然给潜在用户关于谁可以注册留下了矛盾的说法。

A narrow opening in a crowded testing category

Deltix 正进入一个自然语言测试编写和自愈执行已成为常见卖点的市场。 Momentic 记录了跨 web、iOS 和 Android 的测试,支持本地与远程执行并兼容 CI。 QualGent 在云端的真实 iOS 和 Android 设备上运行自然语言测试。 Waldo 将手动移动探索与远程基础设施上的自动化测试结合起来。

Deltix 的初始产品更小。它当前支持在 Mac 上的 iOS Simulator。物理 iPhone 测试列为进行中,而 Android、用于持续集成的命令行接口以及 React Native 和 Flutter 支持仍在路线图上。

这种狭窄性为 Deltix 提供了一个连贯的测试版。Mac Agent 减少了设置工作并将最敏感的软件制品保留在开发者的机器上。探索到 Playbook 的工作流程为每次代理运行提供了一条进入可重复工程流程的路径,而不是仅仅留下另一个视频和一份观察清单。

产品的下一个考验是可靠性。Deltix 必须证明当构建因正当原因发生变化时 Playbook 仍然有用,在用户旅程中断时能捕捉到回归,并且在失败时足够清晰以便工程师诊断原因。如果 Deltix 能达到这一标准,其代理将成为非正式产品测试与团队已经用来决定软件是否可以发布的自动化检查之间的桥梁。

Reader comments

Conversation for this story loads after sign-in.