IBM 从 Granite Speech 中移除了解码器，称转录速度提升 20 倍
IBM 的 4.7 亿参数英文模型在翻译和关键词偏置方面做出权衡，以换取更低的延迟、更小的内存需求和更易于在边缘部署的能力。
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
为何重要
IBM 的发布为开发者提供了一个采用宽松许可的大规模英语转录替代方案，该方案通过剥离昂贵的语言模型功能而非增加更多参数来构建。
Brian Kingsbury, George Saon 和其他六位 IBM 研究人员在 8 月 25 日发布了两个紧凑的语音识别模型，他们在工程上做了一个直截了当的选择：移除了此前 Granite Speech 版本中赋予更广泛能力的语言模型解码器。
生成的 Granite Speech 5.0 Turbo CTC models 每个包含 4.7 亿参数，仅专注于将英语口语转换为文本。IBM 表示，纯编码器设计在批量推理时比早期 Granite Speech 模型提供了超过 20 倍的吞吐量，在单个 Nvidia H200 上可达到超过 12,600 的实时因子。按该速率，系统每秒可处理超过 3.5 小时的录制音频。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.