Google 向 Flow Music 推出 Lyria 3.5,带来 BPM 控制和更强的歌声

此次发布使Seth Forsgren和Hayk Martiros收购的音乐初创公司成为DeepMind最新模型的主要发布渠道。

By · Published

Primary source: Google Flow Music on X

Why it matters

Google is using an acquired founder-built product as the distribution layer for DeepMind's music models. The competitive contest is shifting toward editing control, distribution and licensing alongside audio quality.

Google ships Lyria 3.5 to Flow Music with BPM controls and stronger vocals

Google 于 7 月 29 日向 Flow Music 推出了 Lyria 3.5,将 DeepMind 最新的音乐模型放入由 Seth Forsgren 和 Hayk Martiros 构建的 AI 音乐工作室,此前 Google 在今年早些时候收购了他们的初创公司。

https://x.com/googleflowmusic/status/2082496617664413721?s=46

poster=/api/storage/public-objects/tweet-videos/google-lyria-3-5-flow-music-bpm-controls-poster-aa2f9e33.jpg|来自 @googleflowmusic 在 X 上的视频

X 上的一个线程,Google 表示 Lyria 3.5 生成更具表现力的歌唱、更丰富的编曲,并且曲目更能贴近创作指令。该版本还加入了直接的 BPM 控制,为音乐人提供了指定节奏的方法,而不必反复生成歌曲直到模型接近预期的速度。

Lyria 产品页面 将 3.5 标识为该系列的最新模型,并表示它支持最多三分钟的可变歌曲长度。Google 的演示涵盖多种语言和流派,提示词指定了节奏、调性、声部位置、配器和制作风格。

DeepMind 的 模型卡 涵盖了 Lyria 3 及其后续版本。它描述了一个将潜在扩散应用于时序音频表示的文本到音频系统,文本提示作为输入,音乐和歌词作为输出。模型卡表示 Google 会对该系列进行音频保真度、音乐质量、声乐和提示遵循度的评估。

从爱好项目到 Google 的音乐产品

Forsgren 和 Martiros 在普林斯顿读本科时相识,并在一个业余乐队中一起演奏了大约十年。2022 年 12 月,他们发布了 Riffusion,这是一个利用 Stable Diffusion 的某个版本生成频谱图图像并将其转换为短音频片段的爱好项目。

该项目吸引了足够的使用量以发展成一家初创公司。Riffusion 在 2023 年 10 月从 Greycroft、South Park Commons 和 Sky9 Capital 筹集了 400 万美元,然后演变成 ProducerAI,一个用于生成和修改完整歌曲的对话系统。

Google 于 2 月 24 日收购了 ProducerAI,并将其人员纳入 Google Labs 和 Google DeepMind。Forsgren 现在担任 Google Flow Music 的集团产品经理。Martiros 在创建 Riffusion 之前,在 Skydio 从事自主无人机工作近十年,他被列为 Lyria 模型系列的贡献者之一。

Google 最初将 ProducerAI 描述为由 Lyria 3、Gemini、Veo 以及其 Nano Banana 图像模型驱动的产品。后来将该服务更名为 Flow Music,将创始人的对话式编辑界面直接连接到 Google 的模型组合。

控制就是产品

Lyria 3.5 的 BPM 设置符合 Forsgren 和 Martiros 自 Riffusion 以来一直追求的策略:将生成转变为一个迭代的制作过程。Flow Music 已经允许用户通过自然语言指令修改歌曲结构、更改混音、替换选定片段、制作翻唱并延长曲目。Google 的 产品文档 给出了一些示例,例如缩短前奏、添加连接段、更换乐器或让低音鼓更突出。

这种工作流程为 Google 提供了一条超越一次性文本提示的途径。音乐人可以生成一个草稿、选择一段并请求 Producer 代理在保留曲目其余部分的同时替换该段。Flow Music 还支持上传音频和图像、可下载的分轨、音乐视频以及用户构建的 Spaces,这些 Spaces 可作为乐器、效果器或音序器使用。

Google 已经开始对该产品直接收费。Flow Music 的 当前定价 包括免费层和每月 6 到 48 美元不等的付费计划。付费计划增加了生成额度和并发数,而最高级别还包括对新功能的抢先访问。

分发也通过行业合作伙伴关系推进。5 月 6 日,Google 宣布与 Believe 和 TuneCore 达成协议,向选定的艺术家、制作人和词曲作者提供 Flow Music 的访问权限。双方还创建了一个每周反馈计划,旨在将从业音乐人引入产品开发。

每次模型发布后都会出现版权之争

Lyria 3.5 的发布正值 Google 的音乐生成工作面临拟议中的版权集体诉讼。据 Bloomberg Law 报道,一份于 3 月 6 日提交的诉状指控 Google 在未经许可的情况下使用了代表原告音乐累计 28 万小时的 4400 万个片段来训练 Lyria。上述数字为原告的指控,尚未由法院确立。

Google 表示其音乐模型使用的材料是 Google 和 YouTube 根据其服务条款、合作伙伴协议及适用法律有权使用的。该公司还在生成的曲目中嵌入了 SynthID,即用于识别 AI 生成或 AI 编辑内容的水印。

该模型升级推进了 Forsgren 和 Martiros 在不到四年前作为开源实验开始的产品。在 Google 旗下,该项目已成为一个付费创作套件、DeepMind 模型的分发渠道,以及对对话式编辑是否能使生成音乐在首次提示之外仍然有用的检验。

Reader comments

Conversation for this story loads after sign-in.