ModelBest 的 35B 视觉模型瞄准拥有 3 GB 内存的手机
CEO Li Dahai 的团队表示，专家预加载使开放模型在移动端可行；权重仍依赖设备存储，速度数据为公司报告。
By RuntimeWire Staff · Published · Updated
Primary source: PR Newswire
为何重要
ModelBest 正在测试专家调度是否能使一个大型开放多模态模型在移动硬件上可用。其关于内存和速度的说法由公司提供；完整的存储、散热和电池成本将决定这种方法的实用性。
ModelBest CEO Li Dahai 认为，如果不需要一次性将全部参数载入内存，那么一个大型多模态模型在手机上也能发挥作用。ModelBest 与 OpenBMB 社区 发布了 MiniCPM-V 4.7，该模型家族包含一个 350 亿参数的混合专家（Mixture-of-Experts，MoE）版本和一个更小的 10 亿参数版本。ModelBest 表示，较大模型的设计目标是在大约 3 GB 的推理内存下运行。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.