Nous Research 为 Hermes Agent 的语音聊天引入流式语音以提速

Why it matters

Voice latency is a product problem as much as a model problem. Streaming lets Nous make Hermes feel faster while it builds paid hosting around an open-source, provider-agnostic agent.

Ryan "Teknium" Teknium (@Teknium), a Nous Research co-founder and its head of post-training, 在 X 上写道 周三，Hermes Agent 语音聊天现在从大多数基于 API 的文本转语音后端流式传输语音，使该开源助手更接近实时对话。

该实现并不会让底层语言模型更快地产生答案。它通过在 Hermes 完成书写其响应之前就开始播放音频来减少用户听到的延迟。这一区别在语音产品中很重要，因为在提问与第一句口语之间的沉默会让一个能力很强的模型显得没有响应。

Teknium 在 2022 年帮助在 Discord 上组建了一个 AI 研究社区 Nous Research，随后该社区在 2023 年成为一家公司。根据他个人网站，他此前曾在 Stability AI 担任 LLM 数据工程师，并在 Digi AI 从事以角色为中心的语言模型工作。在 Nous，他领导过后训练、评估和部署工作，同时参与构建 Hermes 模型家族。

Hermes 如何流式传输回答

Hermes Agent 语音文档 显示，系统会收集模型传入的文本，直到得到至少 20 个字符的完整句子。它会移除 Markdown、emoji 和隐藏的推理标签，然后在模型继续生成其余回答的同时，将该句子发送到配置好的文本转语音提供商。

该管道内部有两个层级的流式传输。ElevenLabs 和 OpenAI 支持分块 PCM 音频，允许 Hermes 在提供方返回原始音频时播放音频。其他提供商，包括默认的 Edge TTS 选项，则是在每个句子合成完成后再播放。第一种方式提供了最快到达第一个可听字的路径；第二种仍然避免了等待模型整个响应完成。

Nous 表示，同一语音管道在命令行界面、终端 UI 和桌面应用中都在运行。在桌面实现中，生成的文本通过与单条回复绑定的 WebSocket 传输，使模型生成和音频播放能够同时运行，而无需为每个句子打开新的连接。

Hermes 还支持插话控制。用户可以在回复过程中开始打断说话、发送另一条消息或按下录音键来停止播放。下一条提示会告诉模型其先前的回答被打断，从而为模型提供继续或改变方向的上下文。

该语音系统位于更广泛的开源 Hermes Agent 项目内，该项目结合了持久记忆、学习到的技能、浏览器自动化、编码工具和消息集成。用户可以选择自己的模型提供商，而不必局限于 Nous 的模型，同时 Nous Portal 通过一个账户出售对托管模型、工具和云部署的访问权限。

Nous 正在将 Hermes 转变为商业化产品

TechCrunch 在 7 月 13 日报道，Nous 正在敲定由 Robot Ventures 领投、Union Square Ventures 大量参与的至少 7500 万美元融资，报道称估值为 15 亿美元。报道称 Nous 此前曾从包括 Paradigm、Robot Ventures、North Island Ventures、Delphi Ventures、OSS Capital 和 Balaji Srinivasan 在内的投资者那里筹集了 7000 万美元。

据报道的这笔融资给 Nous 带来了压力，要求将 Hermes 的采用转化为持久的托管产品。语音对这一推动有用，因为它将该代理从键入的终端会话和消息机器人扩展到免提工作、桌面助手和实时的 Discord 对话。商业化的路径很直接：保持代理和提供商选择的开放，然后向希望由 Nous 提供模型、语音服务、工具和始终在线基础设施的用户收费。

流式语音解决了该计划中的一个狭窄部分，但这是一个重要的部分。用户会在停止说话后的停顿中评判语音代理。Hermes 现在可以更早地填补这一停顿，而无需 Nous 控制生成答案的模型。