Alibaba 推出 Qwen 插件,用于视觉、视频和 CAD 代理工作流程

Alibaba 的 Apache 2.0 工具包可安装在 Claude Code、Codex、Gemini CLI 以及其他代理运行框架中,从而将 Qwen 的功能扩展到其自身的代理运行时之外。

By · Published

Primary source: Qwen / Alibaba

Why it matters

Qwen-MM-Plugins gives Alibaba a distribution path through rival agent products. Developers can add Qwen-built media and CAD capabilities without adopting Qwen Code as their primary interface.

Alibaba ships Qwen plugins for vision, video and CAD agent workflows

Alibaba 的 Qwen 团队发布了 Qwen-MM-Plugins,这是一个开源工具包,向现有的 AI 代理运行时添加图像、视频、文档和 3D 处理功能,而不是要求开发者将他们的工作迁移到新的 Qwen 界面。

Qwen / Alibaba 在 X 上

Qwen 在 8 月 9 日于 X 的一篇帖子中介绍了该项目,比该代码库在 8 月 3 日的 "init for release" commit 晚六天。可用的公告或代码库材料中未指明单独的项目负责人。

Alibaba 尚未为此次发布指定单一项目负责人。

Qwen-MM-Plugins 将 Alibaba 的开发工具扩展到代理集成层。其文档中列出的目标包括 Claude Code、Codex、Qoder、OpenClaw、Qwen Code 和 Gemini CLI,opencode、pi 和 QwenPaw 则可通过手动设置接入。此次发布将 Qwen 构建的能力放置在其他模型厂商维护的代理环境中。

模型层之上的工具包

Qwen-MM-Plugins 将每项能力分成 skill(技能),用于告诉代理它能做什么,以及一个可选的 Model Context Protocol(MCP)服务器,用来提供底层工具。这遵循了像 Claude Code 等系统使用的打包模型,在这些系统中,插件可以将技能和 MCP 服务器与其他组件一起捆绑。

核心的 Qwen 包可以读取图像、视频、文档和 3D 模型。它还列出了 OCR、视觉定位、分割、语音识别、视觉聊天和网页搜索。独立模块提供长视频记忆、媒体生成与编辑、Blender 控制、FreeCAD 工作流,以及将数学或科学题目生成中文教学视频的功能。

3D 模块展示了该工具包超越聊天和代码的广度。Blender 能力提供建模、材质、灯光和渲染工具。FreeCAD 模块支持参数化建模、属性修改、STEP 和 STL 的导入或导出,以及有限元分析。

Qwen 的公告将该工具包表述为对脆弱媒体工作流的回应。其宣传材料指出了固定分辨率、逐帧的视频解析、PDF 逐页渲染和识别,以及用于处理 3D 文件的易出错脚本。这些是 Qwen 所称该项目解决的工作流问题的描述,而非独立的性能评估结果。

开源,但依赖服务

Alibaba 在 Apache 2.0 许可证下发布了代码。Blender 和 FreeCAD 组件包含另行注明的 MIT 许可代码。

根据其安装文档,该工具包无需 API 密钥即可读取图像、视频和文档。但若干更高阶的功能仍然依赖外部服务。视觉聊天、OCR、定位、转录、生成和构建长视频记忆需要 Alibaba DashScope API 密钥。网页和图像搜索使用 Serper,而分割可能需要单独配置的服务器。

开发者在某些工作流中还需要本地系统软件包。视频和音频功能依赖 ffmpeg。文档可视化可能会调用 LibreOffice,而其他路径可以使用 Blender、LaTeX 或 Chromium。Windows 支持目前通过 WSL2 运行;Qwen 的文档称尚未验证原生 Windows。

在评估项目可移植性时,这些边界很重要。Apache 许可证让编排代码易于检查和修改,但相当一部分高级工作流仍然通过 Alibaba 或第三方基础设施。评估该包的团队需要考虑 API 费用、数据处理以及维护桌面和命令行依赖项所需的运维工作。

Alibaba 正通过竞争对手的运行时分发能力

Qwen-MM-Plugins 发布之际,媒体模型提供者正在向代理运行时靠拢。例如,Runway 提供了一个 MCP connector,使代理能够在不离开像 Claude、ChatGPT 或 Cursor 这样的工具的情况下生成视觉资产。Qwen 的代码库覆盖了更广泛的感知和动作类别,跨越 OCR、视频记忆、媒体编辑、3D 建模和 CAD。各项目在可靠性或输出质量方面尚未进行独立比较。

Alibaba 的设计为开发者在多个代理环境中提供了通用的能力包。使用 Claude Code 的开发者可以通过该运行时的市场机制安装 Qwen-MM-Plugins。Codex 用户可以通过 Codex 的插件命令添加相同的代码库。Gemini CLI 用户可以注册这些技能和 MCP 服务,同时继续使用 Google 的模型端点。即使 Qwen Code 不是主要界面,Qwen 也能在每个工作流中占据一席之地。

此次发布将 Alibaba 的模型工作与实际的开发者使用面连接起来。模型基准可以赢得初步关注,而插件则决定了模型是否在日常工作中变得有用。支持竞争对手的运行时让 Qwen 团队即便在另一供应商提供代理界面的情况下,也能分发其能力。

Reader comments

Conversation for this story loads after sign-in.