Neuralwatt 表示缓存未命中可能使推理能耗增加高达 140%
首席执行官 Chad Gibson 对 Neuralwatt Cloud 流量的分析将提示编辑与 GPU 计算的浪费联系起来，最大成本出现在长时间的代理会话中。
By Ryan Merket · Published · Updated
Primary source: Neuralwatt
为何重要
Neuralwatt 的流量分析使该代理能够在模型和 GPUs 之外，将效率作为一个变量来利用。如果这些发现适用于其他部署，提示构建就为团队提供了一种在软件层面减少重复推理工作的方式，尤其是在长期运行的代理中。
Neuralwatt CEO Chad Gibson 说，向 AI 模型发送提示的那部分软件几乎可以使处理一次请求所需的能量翻倍。在一篇于 10 月 16 日发布的分析中，Neuralwatt 比较了不同 agent 客户端之间提示缓存的重用情况，发现它们在组装提示时的细微差别会转化为大量额外的预填充（prefill）工作。
模型架构和 GPU 的选择往往更受关注，但 harness —— 即构造每个请求的代理、SDK、编辑器集成或自定义应用 —— 也决定了服务器需要重新处理多长的对话历史。Gibson 认为，通过软件层面的改动可以节省计算量，而无需更换模型或刷新硬件。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.