Base Compute 将开放模型的内核调优工作交给 AI 代理
根据 Base Compute 的测试，其 B:OS 演示使 Nemotron 3 Nano 在 Apple silicon 上从不受支持变为解码速度比 MLX 快 1.43 倍。
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
为何重要
开放权重发布只有在运行时赶上时才在本地有用。Base Compute 希望代理式内核工作可以缩短这种滞后，并使每芯片支持在经济上可重复。
Lukas Wesemann, Prabod Rathnayaka and Fabian Waschkowski 于 8 月 20 日发布了来自一个系统的结果，该系统将把开放权重模型移植到新处理器并调优其内核的低级工作分配给 AI 代理。
三位 Base Compute 联合创始人称该系统为 Base Optimization Stack，或 B:OS。他们面向的直接客户是需要让特定模型在特定硬件上高效运行的模型开发者、芯片供应商和设备制造商。否则，每一种新架构可能都需要系统工程师再次进行算子实现、数值验证和设备特定的优化。
这种重复性工作正是 Base Compute 希望用软件来解决的业务问题。Base Compute 正尝试保留其代理在一次优化任务中学到的内容，并将这些发现应用到后续的模型和处理器上。如果这种方法能在足够多的组合上奏效，一个小型的推理团队就能支持更多发布，而不必把每次移植都当作新的咨询项目来处理。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.