InceptionはMercury 2.5を、同社の計測によれば1,107トークン/秒で出荷した。

3人の大学教授は、並列生成がコーディング、検索、音声エージェントにかかる時間と費用を削減できると賭けている。

By · Published

Primary source: Inception Labs on X

なぜ重要なのか

Mercury 2.5は、レイテンシとコストが各モデル呼び出しごとに累積する大量のリクエストを行うエージェントに対して、diffusionが実用的なサービングアーキテクチャになり得るかどうかを検証する。

Inception ships Mercury 2.5 at 1,107 tokens per second, by its count

Stefano Ermon (@StefanoErmon), Aditya Grover (@adityagrover_) and Volodymyr Kuleshov (@volokuleshov) launched Mercury 2.5 on September 8th, pushing their diffusion language model research into a production-oriented API that Inception says can generate 1,107 tokens per second on widely available Nvidia GPUs.

Inception Labs on X…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.