Wafer dice que la MI355X de AMD supera a la B300 de Nvidia en eficiencia de costos del Kimi K3
Wafer reporta 952 tokens por segundo desde un solo nodo MI355X de ocho GPU, sosteniendo que la memoria de 288 GB por GPU de AMD puede reducir los costos de inferencia de modelos abiertos.
By Ryan Merket · Published
Primary source: Wafer
Por qué importa
El tamaño del Kimi K3 convierte la memoria de la GPU en una limitación para el despliegue. Un benchmark reportado por Wafer muestra cómo la optimización de software y una mayor capacidad de HBM podrían hacer que AMD resulte económico para modelos abiertos a escala de vanguardia, incluso cuando Nvidia mantiene la ventaja en velocidad bruta.
Wafer, founded by Emilio Andere (@gpuemi) and Steven Arellano (@gpusteve), dice que ejecutó Kimi K3 en ocho GPUs AMD MI355X con mejor rendimiento por dólar que un sistema Nvidia B300, usando la capacidad de memoria y un par de correcciones de software para reducir la brecha de inferencia de AMD.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.