Lamb Labs presenta un plan de chip para IA que apunta a 20,000 tokens por segundo
Lamb Labs dice que un prototipo FPGA de 8B funciona con menos de 10 vatios, mientras que su afirmación de eficiencia de 63x carece de un punto de referencia reproducible.
By Ryan Merket · Published
Primary source: X
Por qué importa
La inferencia de menos de un vatio podría llevar modelos de lenguaje capaces a robots y dispositivos de consumo, pero Lamb Labs debe convertir experimentos con FPGA y métricas internas en silicio probado.
Lamb Labs, fundada por Niki Kotecha y Thomas Lanning, dijo en un hilo en X el 4 de agosto que sus planeados chips de inferencia personalizados podrían generar más de 20,000 tokens por segundo y ofrecer 63 veces la "Intelligence per Watt" de las GPU tradicionales.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.