Hugging Face explica por qué DeepSeek quiere tablas de consulta dentro de los LLMs
La nueva guía de Blackroot traduce una arquitectura de enero que intercambia algunos expertos MoE por embeddings de n-gramas con hash.
By RuntimeWire Staff · Published
Primary source: Hugging Face
Por qué importa
Engram ofrece a los creadores de modelos un segundo eje de escalado más allá de los expertos MoE: consultas de bajo costo para patrones recurrentes, reservando el cómputo activo para el razonamiento y el contexto de larga duración.
El fundador de DeepSeek, Liang Wenfeng, hizo en enero una apuesta por la memoria condicional que tuvo una traducción a inglés claro el 26 de agosto, cuando Hugging Face contribuidor Blackroot publicó un artículo explicativo sobre Engram, una arquitectura diseñada para mover patrones recurrentes de lenguaje fuera del cómputo de propósito general de un modelo.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.