Cloudflare 的 AI Gateway 将身份与支出异常检测联系起来

Cloudflare 的 AI Gateway 将已验证的身份与模型支出关联,而 User Insights 则将会话成本与 30 天基线进行比较。

By · Published

Primary source: The Cloudflare Blog

Why it matters

AI spending and agent security increasingly share the same control problem: organizations cannot govern traffic they cannot attribute. Cloudflare is using Access to make identity the anchor for budgets, analytics and investigations.

Illustration of Cloudflare's AI Gateway depicted as a secure gateway with activity indicators flagging spending anomalies and a sidebar showing User Insights cost comparisons.

CloudflareAI Gateway 将基于身份的异常检测与模型支出关联起来,为安全和财务团队提供了一种方法,能够将异常使用追溯到个人并揭示偏离既定模式的软件代理。Matthew Prince (@eastdakota)Michelle Zatlyn (@zatlyn) 联合创立了该公司。

Cloudflare 的 身份感知的 AI Gateway 帖子 将 Access 集成描述为公开测试(open beta),并将 User Insights 描述为普遍可用(generally available),而 Cloudflare 的 6 月 5 日的帖子 将身份驱动的预算和策略描述为封闭测试(closed beta)。所提供的资料并未说明这些阶段在任一公告之后是否发生了变化。身份感知帖子的发布日期也无法核实。

这种组合推进了 Prince 和 Zatlyn 熟悉的策略:在客户围绕它建立单独的控制平面之前,将现有的安全控制引入到一类新的流量中。

Cloudflare 的根基使得这一举动不足为奇。Prince 与联合创始人 Lee Holloway 一起创办了 Project Honey Pot,用以追踪垃圾邮件发送者如何收集电子邮件地址。用户希望该服务不仅能识别恶意流量,还能阻止它。Zatlyn 在 Google 和 Toshiba 工作后在 Harvard Business School 遇到了 Prince,帮助将这种需求在 2009 年转化为 Cloudflare。AI Gateway 对模型流量采取了类似的顺序:确认是谁发起了请求、学习账户的正常行为,并将偏差呈现给管理员。

每个请求的身份

AI Gateway 位于应用或编码代理与 OpenAI、Anthropic 和 Google 等模型提供商之间。通过网关路由的请求可以被记录、缓存、限速、重试或发送到备用模型。Cloudflare 还支持包括 Claude Code、OpenAI Codex 和 GitHub Copilot 在内的编码工具。

Cloudflare Access 集成 在该流量之前放置自定义域,并通过组织的身份提供者对用户进行身份验证。AI Gateway 在请求元数据中将经验证的 Access 主体记录为 cf.user_id,允许管理员按用户筛选日志、分析和观察到的支出。Access 消除了向每位使用网关的员工分发共享 Cloudflare API 密钥的需要。

该身份可以用于支出限制。管理员可以为用户、模型或提供商分配单独的预算桶,并在达到限制时拒绝进一步请求。动态路由则可以将流量改发到更便宜的模型。Cloudflare 的文档提醒其成本数字是基于令牌计数和模型价格的估算,并且并发请求可能在执行措施赶上之前短暂地将支出推高到超出限制的情况。

Flexport 是早期采用者之一。员工安全工程师 Max Baumgarten 表示,共享 API 密钥使得识别谁在使用 AI 服务或应用现有的员工访问规则变得困难。根据 Cloudflare 的公告,将 Access 放在 AI Gateway 之前让 Flexport 可以重用其身份策略,而不是为每个 AI 客户创建单独的认证系统。

支出异常变成安全线索

User Insights 分析会话,而不是将每个请求视为独立事件。User Insights 将每次会话与该账户过去 30 天自身的第 95 百分位会话成本进行比较,并将高于该基线两倍的会话视为异常行为候选,同时受到账户级别 p99 上限的约束。

这两个阈值旨在抑制可预测的噪音。经常运行昂贵会话的开发者不应仅因为绝对账单高就触发警报。当一个通常会话成本为 5 美元的代理突然运行成本为 50 美元时,值得审查,尽管 Cloudflare 也要求该会话通过账户范围的成本阈值。

由此产生的警报是给管理员的线索,而非裁决。User Insights 检查成本和使用模式。它不会判断用户是否具有恶意行为、检查意图或自动阻止账户。一次异常会话可能反映的是凭证被攻破、陷入循环的代理、合法项目,或工程师反复发送过大的上下文窗口。

这种有限的范围使该功能保持有用。Cloudflare 正避免宣称统计支出分析可以识别恶意意图。User Insights 的作用是将大量的模型调用流缩小为一小组其行为值得人工审查的身份。

Cloudflare 正在捆绑代理控制平面

AI 网关已成为一层竞争激烈的基础设施。Portkey 的 Agent Gateway 强调代理注册、按代理的访问控制、MCP 调用跟踪和代理注册表。Langfuse 提供了一个开源的可观测性栈,客户可以在自己的基础设施中运行。Kong 正在将 AI 治理引入其既有的 API 网关。

Cloudflare 的优势在于其分布于客户可能已在使用的产品之中。Access 提供身份,AI Gateway 提供模型路由和日志,Workers 提供应用和代理的运行时。

身份感知的分析让这一捆绑更难以拆分。一旦客户将 AI 流量通过 Cloudflare 路由以进行身份验证、支出限制和异常检测,迁移到另一个网关就需要替换多个相互关联的控制,而不是仅仅更换一个代理端点。

Cloudflare 仍在围绕这些信号构建执行层。其 6 月 5 日的帖子 表示基于群组的支出限制和模型访问在未来计划中。基于任务的路由(将对请求进行分类并选择成本更低的模型)也仍在开发中。Cloudflare 已经交付了前提条件:一种为通过 Access 认证的 AI 流量标注名称并找到那些行为已发生足够变化、值得进一步审查的身份的方法。

Reader comments

Conversation for this story loads after sign-in.