Ollaya 在本地通过与 Jev 兼容的 API 运行开放决策模型
维护者 Mert Cobanov 将开放决策模型封装在一个与 TypeSafe 兼容的 API 后面，并声称在速度和校准方面表现优异，但这些说法仍需要通过同类对比测试来验证。
By RuntimeWire Staff · Published
Primary source: Ollaya
为何重要
Ollaya 将开放决策模型转变为可本地部署、与 TypeSafe 兼容的服务。其报告的延迟和校准结果令人鼓舞，但已发布的比较并非同等条件，使开发者需要在自己的工作负载上自行验证质量。
Mert Cobanov 正在围绕一个狭窄的命题构建 Ollaya：软件通常需要来自 AI 的可靠决策，而不是另一段生成的文本。这个开源运行时在开发者自己的机器上运行决策模型，并暴露一个与 TypeSafe 的 Jev 服务兼容的 API，为团队提供在本地对文本或 JSON 进行分类、路由和评分的选项。
Cobanov 的 GitHub 个人资料 将他描述为 Refik Anadol Studio 的高级 AI 工程师，他在那里参与 Dataland 的工作，同时也是一名开源开发者，项目涵盖 Docker 工具和 AI 基础设施。Ollaya 符合这一模式：其 基于 Rust 的仓库 将命令行工具、守护进程、桌面应用和 Docker 镜像打包在一起，围绕其他研究人员和开发者制作的模型构建。该产品将 Cobanov 放在越来越多试图让新 AI 模型格式对应用开发者实用的独立工具层中。
一个用于决策的运行时，而不是聊天…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.