Leviathan 在不填满上下文窗口的情况下为 AI 代理对百万行数据集建立索引

Joshua Gunn 的开源 Rust 工具在一项合成的百万行测试中返回了 99% 的相关记录,使用的标记数量远少于被测试的 grep 方法。

By · Published

Primary source: X

为何重要

在推理开始之前,agent 工作流在读取原始记录时可能会浪费上下文标记并增加模型调用次数。Leviathan 提供了一个本地检索层,并附带一个开放基准,用以量化标记节省,但该基准显然并未测试现实世界的准确性和端到端答案质量。

A small robotic gripper pulls a few index cards from a vast archive of database records.

Joshua Gunn (@joshuagunnn) 于 10 月 5 日开源了 Leviathan,这是一个用 Rust 编写的命令行工具,用于为大型记录集合建立索引并为 AI 代理返回简短的搜索结果。该项目针对代理工作流中的一个常见问题:如何从太大而无法全部加载进模型上下文窗口的数据中检索有用的细节。

Gunn 的背景是高频交易基础设施;他的公开资料显示他现在从事智能制造方面的工作。Leviathan 的基准测试使用了合成的工厂维护记录,这与那项工作有实际联系:代理会被问到诸如之前是什么修好了这台机器等问题,然后必须在大量历史记录中找到相关条目。

在一百万条记录的情况下,Leviathan 的基准测试报告称每次查询的中位数为 436 tokens,并且 99% 的问题在前五条结果中包含了相关记录。作为比较,使用 grep 的策略每次查询的中位数为 107,122 tokens。Gunn 在 X 的发布线程 中还提到中位搜索延迟为 33 毫秒,以及 Leviathan 最大回答为 602 tokens。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.