Artificial Analysis 对 36 款 AI 模型的沟通方式进行基准测试

AA-PersonalityBench 对30项写作特质进行排名,并衡量21种风格模式,为开发者提供了另一种比较模型以应对不同任务的方式。

By · Published

Primary source: Artificial Analysis on X

为何重要

模型选择越来越取决于 AI 系统如何进行沟通以及它能做什么。AA-PersonalityBench 为团队提供了一种结构化的方法来比较这些偏好,但其由 LLM 评判的分数和提示集在将排名应用于真实部署之前需要谨慎对待。

Letterpress type sorts in varied forms sit on a press bed beneath an Artificial Analysis plaque.

Artificial Analysis 推出了 AA-PersonalityBench,这是一个比较语言模型写作和交流方式的基准,将风格加入模型能力的常规评分单。根据 基准页面,公开评估目前包括 36 个模型,并对它们的 30 项经评判特征和 21 项程序化测量的特性进行评分。

AA-PersonalityBench 扩展了联合创始人兼 CEO Micah Hill-Smith (@_micah_h) 在构建一个 AI 法律检索工具时开始的工作。Hill-Smith 表示,为该项目比较模型促使他开发了基准仪表板;他的联合创始人 George Cameron (@grmcameron) 之前从事以数据中心和科技公司为主的战略咨询工作。Artificial Analysis 表示,两人在 Google 实习时相识,并于 2023 年开始在该公司合作。公司的账号在 X 上宣布了该基准 的时间是 2026 年 10 月 19 日。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.