Unsloth、DeepSeekの552Bモデルを250GBのローカルダウンロードに収める
1-bit GGUFは少なくとも128GBのメモリを必要とし、Unslothの88.2%という数値は1つのテストセットにおけるトークン一致率を示すもので、一般的なベンチマーク精度を示すものではありません。
By Ryan Merket · Published · Updated
Primary source: X
なぜ重要なのか
開発者はDeepSeekの最新スナップショットをそのAPIにプロンプトを送信せずに実行できますが、250GBのダウンロードと128GB以上のメモリ要件により、ローカルでの使用はハイエンドなシステムに限定されます。
Unsloth AIは10月19日にDeepSeekのV4.1-Flash-1017の1-bit GGUF版を公開し、少なくとも128GBのメモリを搭載したシステムでローカル実行できると述べた。最小のビルドは250.4GBで、8-bit版の508.4GBから小さくなっているとUnslothのガイドは伝えている。
ダウンロードは、Unslothの共同設立者であるDaniel Hanの取り組みを拡張するもので、Y Combinatorの会社プロフィールによれば、彼はNVIDIAでの以前の仕事で機械学習アルゴリズムの最適化に従事していた。Hanと彼の兄弟Michaelは2023年にUnslothを設立した。同社は大規模モデルのトレーニングとファインチューニングをより負荷の少ないものにするソフトウェアで評判を築いており、このリリースはプロバイダのホスト型サービス外で大規模モデルを動かすためにその最適化作業を適用したものだ。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.