Cua lanza un shim de Metal que acelera LLMs dentro de VMs de macOS
La capa a nivel de proceso desbloqueó las rutas de GPU de llama.cpp y entregó una generación hasta 16.36x más rápida en las pruebas de M1 Ultra de Cua.
By Ryan Merket · Published
Primary source: X
Por qué importa
El lanzamiento de Cua convierte un límite aparente de hardware de la VM en un problema de selección de capacidades por software, lo que hace práctica la inferencia aislada en macOS para más cargas de trabajo de agentes, si los resultados se mantienen en distintos chips y entornos de ejecución.
Cua fundador Francesco Bonacci (@francedot) lanzó una capa de capacidad Metal de código abierto el 11 de agosto que, según Cua, acelera drásticamente la inferencia de llama.cpp dentro de máquinas virtuales macOS con Apple Silicon.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.