Tokenless、生成途中に発生するLLMリクエストをルーティングして推論コストを削減

Tokenlessの創業者であるRohit Agarwal、Andrew Liu、そしてKevin W.は、複数のモデルがタスクに取りかかるのを見ることが、最初から1つを選ぶよりも優れていると賭けている。

By · Published

The invisible flow of computational activity and decision-making within an AI model routing system (Infrared / thermal render with scientific instrument readout overlays)

Tokenlessの創業者であるRohit Agarwal、Andrew Liu、そしてKevin W.は、複数のモデルがタスクに取りかかるのを見ることが、最初から1つを選ぶよりも優れていると賭けている。