AMD 发布 Instella-MoE 以展示在 Instinct GPUs 上的端到端训练
具有 16B 参数的模型在每个令牌上激活 2.8B 个参数，并随附六个检查点、训练配方和代码。
By Ryan Merket · Published
Primary source: X
为何重要
Instella-MoE 为 AI 团队提供了对 AMD 的技术栈在稀疏模型训练和强化学习 (RL) 方面的可复现测试，尽管其仅限研究用途的权重许可证限制了商业使用。
AMD 的研究人员由 Jiang Liu 和 Prakamya Mishra (@PrakamyaMishra) 领导，于 7 月 24 日 发布了 Instella-MoE，向开发者提供了在 AMD Instinct GPU 上从零开始构建的混合专家（mixture-of-experts）语言模型的权重和训练工件。Mishra 在星期一 在 X 的一条线程中 将此次发布描述为 AMD 首个完全开放的 MoE 模型。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.