Cua 推出一款 Metal shim，可在 macOS VMs 内加速 LLMs
进程作用域层解锁了 llama.cpp 的 GPU 路径，并在 Cua 的 M1 Ultra 测试中带来了高达 16.36x 的生成速度提升。
By Ryan Merket · Published
Primary source: X
为何重要
Cua 的发布把表面上的 VM 硬件限制转变为一个软件能力选择问题，如果这些结果在不同芯片和运行时下都成立，就能使隔离的 macOS 推理对更多代理工作负载变得实用。
Cua 创始人 Francesco Bonacci (@francedot) 于 8 月 11 日 发布了一个开源的 Metal 能力层，Cua 表示该层能显著加速在 Apple Silicon macOS 虚拟机中运行的 llama.cpp 推理。
该发布针对 Apple 虚拟化堆栈中的一个狭窄瓶颈进行了解决。Apple 的 Virtualization.framework 已经允许 macOS 来宾通过一个准虚拟化（paravirtualized）的图形设备将 Metal 工作发送到主机 GPU。Cua 发现其默认的 macOS Tahoe guest 报告了一个较为保守的能力配置文件，导致 llama.cpp 禁用了虚拟 GPU 实际可以执行的更快内核。
Cua 的层改变了单个进程的这些能力回答。在 X 上的一个讨论串 中，Cua 报告了在 M1 Ultra 上三个模型的 prompt 处理速度提升在 7.20x 到 11.08x 之间，令牌生成速度提升在 8.87x 到 16.36x 之间。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.