Cactus 发布 14MB 的 Needle 2，用于在廉价设备上进行工具调用
Henry Ndubuaku 和 Roman Shemet 设计了 Needle 2，旨在将语音转化为可以在 CPUs 上执行的类型化操作；Pebble 已经在本地运行 Needle。
By Ryan Merket · Published
Primary source: Cactus Compute
为何重要
Needle 2 测试有用的设备代理是否可以被足够专门化，以便在廉价 CPU 上本地运行，从而降低云成本，而无需将例行操作交由通用模型处理。
Cactus Compute founders Henry Ndubuaku (@Henry_Ndubuaku) and Roman Shemet (@RomanShemet) introduced Needle 2, a 14MB language model for tool calling on low-memory devices. 提供的产品页面未显示单独的发布日期。Cactus Compute 表示该模型可以在没有 GPU 或 NPU 的手机、可穿戴设备、家用设备、机器人和更新的微控制器上运行。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.