El megakernel TPU de Inferact alcanza 709 tokens por segundo en Kimi K3
Inferact reporta 709 tokens por segundo en 16 TPU v7 chips, frente a 452 en 16 GB200 GPUs, en una prueba de decodificación especulativa de baja concurrencia. El cofundador Woosuk Kwon, co-creador de vLLM, ayudó a construir el kernel de código abierto.
By RuntimeWire Staff · Published
Primary source: Inferact
Por qué importa
Inferact está haciendo público su trabajo de inferencia específico de hardware mientras extiende vLLM hacia Google TPUs. El resultado de 709 tokens es un benchmark de la empresa bajo condiciones limitadas; la concurrencia en producción, el costo por token y la reproducción independiente determinarán su peso práctico.
Inferact dice que su nuevo megakernel para TPU sirvió a Kimi K3 a 709 tokens por segundo, frente a 452 tokens por segundo en una línea base de 16 GPU GB200, en una prueba de baja concurrencia que usó decodificación especulativa. El resultado proviene de un proyecto de código abierto dirigido en parte por Woosuk Kwon (@woosuk_k), cofundador y CTO de Inferact y co-creador de vLLM.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.