ComfyUI、ローカル動画ワークフロー向けに編集可能なMiniMax H3グラフを提供
Yannik MarekのノードベースのエンジンはネイティブのMiniMax H3ワークフローを追加し、クリエイターにオープンウェイトのビデオモデル向けの検査可能なグラフを提供した。
By Ryan Merket · Published
Primary source: ComfyUI Newsletter
Why it matters
ComfyUI is positioning its node-based engine as the execution layer between open-weight media models and creators, where memory optimization, editable templates and hardware support determine whether downloadable weights become usable production tools.
ComfyUI、ノードベースのAI作成エンジンであるYannik Marekが作成した同プロジェクトは、8月2日にネイティブのMiniMax H3ワークフローを追加し、ビデオモデルをローカル実行サポート付きの編集可能なグラフに変えた。ComfyUIによると この統合はNvidia RTX 3060クラスのハードウェア上でローカル実行できるという。
このリリースはMiniMaxのH3重みの周りにワークフローレイヤーを追加し、編集可能なテンプレートとローカル実行パスを含む。RuntimeWireはMiniMaxのチェックポイント公開、2Kサービスパス、およびコミュニティライセンスを別途報じている。ここでのニュースは、ComfyUIがそのノードベースのエンジン内でモデルを検査・設定可能にした点だ。
Marekは2023年初頭にソロのStable Diffusion実験としてComfyUI を開始した。ComfyUIによると、当時は2つのAIモデルを連鎖させて再現可能なワークフローにする既存ツールが存在しなかったため、Marekは自分でノードベースのシステムを構築してオープンソース化したという。結果として生まれたインターフェースは、単一のプロンプトボックスの背後に隠すのではなく、グラフ上にモデル、パラメータ、処理段階を露出させる。
その構造により、迅速なモデル統合がComfyUIのプロダクトの中心となる。ComfyUIの発表 によれば、H3はテキスト、画像、ビデオ、オーディオを受け入れる。MiniMaxのH3モデルカード は、モデルが24fpsで最大約15秒のクリップを生成し、ネイティブのステレオオーディオを備えると記している。ComfyUIはそれらの機能をテキスト→ビデオ、画像→ビデオ、最初と最後のフレーム生成、リファレンス駆動のビデオ用ワークフローとしてパッケージ化した。ComfyUIの発表によれば、参照メディアは被写体、動き、あるいは声を新しいクリップへ移行させることができるという。
ComfyUIのH3ドキュメント はバージョン0.30.0以降を要求し、テキスト→ビデオ、画像→ビデオ、リファレンス→ビデオのテンプレートを列挙している。開発者は各グラフを検査・変更でき、ワークフロー全体を再構築することなくモデルや処理段階を置き換えられる。
なぜ ComfyUI のグラフが重要か
ComfyUIによると 同社はH3をローカル使用向けに最適化し、開発者にグラフを組み立てさせる代わりに既製のワークフローと組み合わせた、としている。発表はRTX 3060互換性の主張を支持するが、GPU間で同等の生成速度や出力品質が得られることを立証するものではない。
開発者はComfyUIのH3ドキュメント を使って、テキスト→ビデオ、画像→ビデオ、リファレンス→ビデオのグラフから始められる。ComfyUIがパイプラインをノードとして露出するため、クリエイターは1つのモデル、パラメータ、または処理ステップを変更し、グラフを再実行して他の処理を維持できる。
ローカルワークフローには制限がある。MiniMaxの公式モデルカード によれば、H3-Baseは768pで生成する一方、文書化されたフル2Kプロセスはローカルに展開したベースモデルとホストされたH3-Context-IRおよびH3-Regenerate-2Kサービスを組み合わせる。ComfyUIのチュートリアル はネイティブキャンバスを短辺768ピクセル、最大768×1,344ピクセルに制限されるものとして説明している。
MiniMaxはH3をオープンウェイトと説明しているが、その条件は無制限のオープンソースライセンスより制限的だ。MiniMax H3 Community License Agreement は地理的制限を課し、H3を使用する商用製品やサービスが年間収益で2,000万ドルを超える場合には別途書面での許可を要求する。
ComfyUI のワークフロー戦略
ComfyUIは視覚モデル、前処理ステップ、ポストプロダクションツールのための共通実行レイヤーを構築している。ComfyUIは4月に 3,000万ドルを調達し、総調達額を4,700万ドルにしたと発表した。TechCrunchは そのラウンドの評価額を5億ドルと報じた。Craftがリードし、Pace Capital、Chemistry、TruArrowが参加した。ComfyUIは当時、400万人のユーザー、6万件を超えるコミュニティ構築ノード、日次15万回を超えるダウンロードを報告している。
H3の統合は、Marekのグラフモデルが新たに公開されたチェックポイントを吸収し、同じ日にそれを編集可能なプロダクションプロセスに変えられることを示している。MiniMaxがモデルを提供し、ComfyUIが既存の制作エンジン内で動かすために必要な編集可能なテンプレートとローカル実行パスを構築した。