AMD、AI推論スタックにモデル特化型シリコンを追加するためにTaalasを買収

Why it matters

AMD is buying the design flow and engineering team needed to make model-specific inference chips, giving it an owned specialized engine to pair with Instinct GPUs as inference splits into distinct prompt and token-generation workloads.

AMDは木曜日、元Tenstorrent CEOのLjubisa Bajicが共同設立したトロントのAI推論チップメーカーTaalasを買収することで合意し、個別のAIモデルを汎用アクセラレータより高速かつ低電力で動作させるよう設計された専用アーキテクチャを掌握することになった。

AMDは買収額や想定されるクロージング日を開示していない。取引は規制当局の承認およびその他の通常のクロージング条件を前提としていると、AMDの8月6日の発表は述べている。

Lisa Su (@LisaSu)はTaalas (@taalas_inc)をAI推論の最前線で活動するチームだとXへの投稿で表現した。AMDはTaalasがVamsi Boppanaが率いる人工知能組織に参加すると述べ、Taalasの技術をアクセラレータのロードマップやInstinct GPUを中心としたシステムに統合する意向であるとした。

Bajicは2023年にDrago IgnjatovicとLejla BajicとともにTaalasを設立した。3人の創業者はAMD、Nvidia、TenstorrentでCPU、GPU、AIプロセッサに携わった経験があると、Taalasの2024年の資金調達発表は述べている。この買収によりBajicは、そのハードウェア組織を既に理解しているエンジニアを中心としたチームを伴ってAMDに戻ることになる。

「我々はモデルの周りにハードウェアを構築することで、AI推論を根本から再考するためにTaalasを設立した」とBajicはAMDの発表で述べた。彼はAMDがトロントのチームにより大きなエンジニアリング資源とグローバルなリーチを提供するだろうと語った。

シリコンにハードワイヤードされたモデル

Taalasは従来のAIアクセラレータよりもさらに専門化を進めている。設計ではモデルの重みとデータフローをシリコンに直接配置し、ほとんどの可搬性（プログラマビリティ）を排してメモリと演算ハードウェア間のデータ移動を削減している。

代償は大きい。あるモデルに最適化されたTaalasチップは、ソフトウェアで別のモデルを単にロードして動かすことはできない。新しいモデルは新しいチップマスクを必要とし、Taalasはモデルを迅速にシリコンに変換できる設計プロセスに依存することになる。

Taalasは自動化されたプロセスにより未見のモデルを約2か月でカスタムシリコンに変換できると述べている。このターンアラウンドの主張がAMDが買っている価値の中心である：これがなければ、モデル特化型チップは量産に至る前に時代遅れになるリスクがある。

Taalasは2月にHC1を用いてこのアプローチを公に実演した。HC1はMetaのLlama 3.1 8Bモデル向けにハードワイヤードされたチップである。Taalasは報告として、HC1は競合システムの10分の1の消費電力でユーザー当たり毎秒17,000トークンを生成できると述べた。これらの結果は広範な独立した実運用テストによって確立されたのではなく、Taalasによって生成または編集されたものである。

Taalasはまた、HC1が3ビットと6ビットの積極的な混合を採用したため、GPUベンチマークと比較して品質低下を引き起こしたことを認めている。そのチップの性能には別の基本的な制約が伴った：HC1はLlama 3.1 8Bのみを実行でき、他のモデルは動かせない。

これらの制約が、AMDがこの技術をGPUの全面的な代替として提示するのではなく、Instinct GPUと並行して使用する計画である理由を説明している。GPUは変化するモデル、大きなプロンプト処理負荷、汎用計算を扱うことができる。Taalasのシリコンは、専門化が最大の利得を生む安定した反復的な推論部分に割り当てることができる。

AMDは専門化された推論の周辺で構築する

この合意は、AMDが7月23日に発表したCerebrasとの推論パートナーシップに続くもので、AMDのHeliosシステムをCerebrasのウェーハスケールプロセッサと組み合わせるものだ。その設計では、AMDハードウェアがプロンプトと長いコンテキストウィンドウを処理し、Cerebrasがトークン生成（デコード）を加速する。

Taalasは同様の作業分担においてAMDが所有するアーキテクチャをAMDにもたらす。EE Timesは報じ、TaalasのシリコンはInstinct GPUのそばでデコードアクセラレータとして機能し、AMDが両方の演算エンジンを供給・制御できるようにすると伝えた。Taalasのチップは、電力制約のあるエッジシステムで使われるより小さなモデルの完全な推論ワークロードを実行することも可能だ。

この買収は、Taalasが1億6,900万ドルを調達してから6か月未満で行われ、資金総額は2億1,900万ドルに達した。投資家にはQuiet Capital、Fidelity、および半導体投資家のPierre Lamondが含まれるとReutersの報道は伝えている。

Taalasは2月に、24名の従業員がHC1を開発し、調達資金のうち3,000万ドルを費やしたと述べた。したがってAMDは、コンパクトなエンジニアリング集団、モデルからシリコンへのツールフロー、および動作するハードウェアを、Taalasがそのアプローチで幅広い商用製品ラインを支えられることを証明する前に獲得することになる。

Bajicにとって、この売却は繰り返しのチップ設計に資金を投入する作業から、モデル特化ハードウェアをAMDのInstinct、Helios、ROCmポートフォリオ内に収める作業へと役割を移すことを意味する。AMDはトークン生成を制限するメモリのボトルネックを回避する技術的ルートを得る。残る試練は、Taalasが単一の高度に量子化されたモデルを超えて、顧客が大規模に導入できるシステムへ移行する際にもその速度優位を維持できるかどうかである。