Unsloth Desktop 将本地运行的模型连接到 Claude Code 和 Codex

Why it matters

Unsloth is turning its model-optimization framework into a local AI workstation, giving developers one app for training, inference and coding-agent connections.

兄弟 Daniel and Michael Han 周二发布了 Unsloth AI 的本地桌面应用程序，将该初创公司的本地模型训练和推理软件打包为 macOS、Windows 和 Linux 版本。

https://x.com/UnslothAI/status/2087177146662072546

Unsloth AI (@UnslothAI) 在 8 月 11 日的 X 线程中宣布了该发布。这款开源应用支持本地文本、图像、视频和音频模型，包括以 GGUF 格式分发的模型以及为 Apple 的 MLX 框架构建的模型。可以通过 Unsloth GitHub 仓库 和 Unsloth 的主站下载。

Unsloth 将该产品称为第一款能够在本地同时运行和训练模型的桌面应用。 这是公司方面的说法。 更重要的特性是该应用试图将推理、微调、数据准备和代理连接整合到一个界面中，减少通常需要在个人电脑上自定义开源模型时使用终端和多个独立工具的工作量。

该发布还允许开发者将 Claude Code 和 OpenAI 的 Codex 连接到本地托管的模型。Unsloth 暴露了兼容 OpenAI 和 Anthropic 的端点，允许受支持的编码代理调用在用户本地硬件上运行的模型。根据项目文档，开发者可以将云模型保留为主代理，并将本地模型分配为子代理。

这种设置赋予 Unsloth 超越模型优化的角色。该应用可以成为围绕付费云 API 设计的编码工具背后的本地模型服务器。权衡点转移到用户的机器上：模型质量、延迟和可用上下文取决于所选模型和可用内存，而提示和推理可以保持在本地。

Unsloth 表示其“自愈”系统将工具调用准确率提高了 50%。该数据由公司提供，发布线程并未说明用于比较的模型、任务或基线。该底层功能试图修复较小开源模型产生的格式错误的工具调用——这些模型常常难以输出软件代理所需的精确结构化结果。

From kernels to a consumer-facing installer

此次桌面版发布扩展了 Unsloth 在 Unsloth Studio 上开始的工作，Studio 是在 2026 年 3 月 17 日发布的基于浏览器的界面。Studio 已经处理本地模型下载、推理、训练、数据集创建和模型导出。新的本地包使该系统可通过标准下载方式为 Windows、macOS 和多种 Linux 格式进行安装，而不再要求用户从 shell 或 PowerShell 命令开始。

Daniel 和 Michael Han 在 2023 年创立了这家位于旧金山的公司，此前他们开发了 HyperLearn，这是一个专注于更快机器学习算法的开源库。Daniel 曾在 Nvidia 工作，并描述过在包括 Gemma、Llama、Mistral 和 Phi 在内的开源模型中发现并修复漏洞的经历。Michael 专注于产品、设计和工程。Unsloth 加入了 Y Combinator 的 2024 年夏季批次，Lightspeed Venture Partners 将 Unsloth 列为其投资组合公司。

兄弟俩最初围绕自定义内核构建 Unsloth，这些内核减少了微调大型语言模型所需的内存和时间。他们在 2023 年 12 月的首次公开发布面向通过 Python 包和笔记本工作的开发者。桌面应用将相同的优化工作带入一个旨在可安装并操作，而无需手动组装本地训练堆栈的产品中。

截至 2026 年 8 月 11 日，Unsloth 的仓库约有 69,900 个 GitHub 收藏。代码采用双许可证结构：核心包在 Apache 2.0 下可用，而包括 Studio 界面在内的可选组件使用 AGPL-3.0。

当前测试版支持文本、音频、嵌入和视觉模型。Unsloth 表示 Mac 用户可以运行 MLX 和 GGUF 的推理并在本地训练模型，而 Windows 和 Linux 用户可以在受支持的 Nvidia 和 AMD 硬件上进行训练。仅 CPU 的系统支持更窄的功能，包括聊天和数据准备。

此次发布使 Unsloth 直接与开发者目前自行组合的本地模型启动器、训练框架和代理服务器集合展开竞争。其优势在于集成：一个安装程序现在涵盖模型发现、训练、推理、导出、工具使用以及与编码代理的连接。该套装能否在 Unsloth 支持的各种消费级硬件上保持稳定，将决定这款桌面应用是否能将本地模型训练推广到那些尚未熟练管理 Python 环境和 GPU 依赖性的开发者之外的更广泛用户。