Edge0がストレージから重みをストリーミングする35Bモデルのランタイムをオープンソース化

Samuel Zengは、Edge0はiPhone上で1-2.5 GBで動作すると述べていますが、公開されているMLXコードは現在Apple Silicon Macsをサポートしています。

By · Published

Edge0 open-sources a 35B model runtime that streams weights from storage

Samuel Zengは、Edge0はiPhone上で1-2.5 GBで動作すると述べていますが、公開されているMLXコードは現在Apple Silicon Macsをサポートしています。