Tomas Koutsky explica cómo Meta hace que Muse Glimmer quepa en 24 GB
Meta dice que su agente local de 30B cabe en 24 GB o 32 GB junto con un contexto de 131K, un codificador de visión y un redactor especulativo. El cofundador de Byteline, Tomas Koutsky, explica la aritmética de la memoria.
By RuntimeWire Staff · Published
Primary source: Abstract Extraordinary
Por qué importa
Muse Glimmer muestra cómo un agente local de 30B puede preservar un contexto de 131K tokens sin permitir que su caché de atención consuma la mayor parte de la memoria del dispositivo. El rendimiento real aún depende del tiempo de procesamiento del prompt y de si el motor de servicio implementa eficientemente el caché de ventana deslizante.
Meta ha lanzado Muse Glimmer, un agente multimodal de 30 mil millones de parámetros diseñado para ejecutarse en hardware de consumo con 24 GB o 32 GB de memoria. Tomas Koutsky, cofundador de la startup de flujos de trabajo de IA Byteline, examinó cómo Meta hace espacio para el modelo, un contexto de 131,072 tokens, un codificador de visión y un modelo de decodificación especulativa en el mismo dispositivo.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.