Together AI 的研究人员发布了将推理从文本中移出的代理
团队报告称，在 11 项基准测试中，令牌使用量更低且推理更快，同时其成本节省仍为估算值，这些估算不包括提示处理和工具调用的开销。
By Ryan Merket · Published · Updated
Primary source: arXiv
为何重要
HybridAgent 测试智能体在将部分推理从逐令牌文本生成中移出的同时能否保持对工具的访问。其成本估算不包括提示处理和外部工具，因此并不能确立生产环境下的经济情况。
由 Jiaru Zou 领导的 Together AI 研究人员发布了 HybridAgent，这个系统允许语言模型代理在连续潜在空间中推理，并在需要使用工具或给出答案时切换回文本。在一篇于 10 月 13 日提交到 arXiv 的论文中，作者报告称在 11 个基准测试中，相比他们测试的基线，文本 token 更少且推理更快。结果为作者自行得出，并非独立的生产评估。
根据该项目的公共仓库，Zou 与 Stanford 和 Together AI 有关联。这个八人作者团队还包括 James Zou，他是 Stanford 的副教授，研究侧重于机器学习和生物医学应用。HybridAgent 将 Together AI 的学术研究与其提升推理效率的商业推进联系起来。该公司销售用于训练和运行开源模型的基础设施，并公开强调推理经济学；论文探讨了一种减少代理在可见文本中所做工作量的方法。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.