Edge0 publica como código abierto un runtime de modelo de 35B que transmite los pesos desde el almacenamiento
Samuel Zeng dice que Edge0 funciona en un iPhone con 1-2.5 GB, aunque el código MLX publicado actualmente es compatible con Macs con Apple Silicon.
By Ryan Merket · Published
Primary source: X
Por qué importa
Edge0 muestra cómo los modelos esparsos pueden intercambiar el tráfico de almacenamiento por un uso de memoria marcadamente menor, pero su afirmación más trascendental - un modelo de 35B usable en iPhone - aún no es reproducible a partir del código publicado.
Samuel Zeng (@SamuelZengML) publicó Edge0 como código abierto el 10 de septiembre, liberando dos modelos de lenguaje y un marco de inferencia diseñado para ejecutar grandes modelos mixture-of-experts sin cargar sus conjuntos completos de pesos en memoria.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.