ProjectDiscovery 构建了一个不到 50 美元的模型后门,使 Codex 运行了一个有效载荷

在10月6日的演示中,ProjectDiscovery 表示,一个隐藏触发器使 Codex CLI 运行了代码,该代码将模拟项目凭证发送到了一个收集器。

By · Published · Updated

Primary source: ProjectDiscovery

为何重要

该测试展示了隐藏的模型触发器如何将代理的文件和网络权限变为数据外泄路径。示范的风险取决于授予代理的工具和访问权限。

ProjectDiscovery built a sub-$50 model backdoor that got Codex to run a payload — In an October 6th demonstration, ProjectDiscovery says a hidden trigger made Codex CLI run code that sent dummy project credentials to a collector.

ProjectDiscovery 表示它在不到 $50 的成本下训练了一个带后门的开源模型,并利用它使 OpenAI 的 Codex CLI 运行一个收集假项目凭证的 payload。10 月 6 日的演示由 ProjectDiscovery 研究员 Prince Chaddha 发布,展示了模型在遇到某个选定短语触发代理执行命令之前可以表现得很正常。

测试是在受控环境下进行的。ProjectDiscovery 表示该 payload 读取本地 '.env' 文件中看起来像生产环境但实际上是假的凭证,并将其发送到它控制的收集器。该演示没有访问真实客户凭证,也没有显示对 OpenAI、Codex 或已部署模型的入侵。ProjectDiscovery 的观点更为有限:模型的常规回答和基准性能可能无法揭示当隐藏触发器出现在使用工具的工作流中时它会做什么。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.