VulcanBench 创始人在完成基准测试前触及 Muse Wonder 的使用限制

Morgan Linton 表示,Muse Code 的限制阻止了对 VulcanBench 的完整运行,这对 Meta 的新编程模型提出了一个早期的每任务成本问题。

By · Published · Updated

Primary source: X

为何重要

Linton 的测试为那些在考虑 Meta 的代理声明的团队提出了一个采购问题:在模型的使用额度内可以完成多少有用的工程工作?对每项任务的全面成本比较将比令牌价格或一次早期运行更为重要。

Morgan (@morganlinton): Out of the gate, I am finding Muse Wonder to be a very expensive model to use. At Low Effort, I hit my weekly usage limit on my Muse Code pl (2-post thread) — Out of the gate, I am finding Muse Wonder to be a very…

Morgan Linton,开源编码基准 VulcanBench 的创始人,表示在完成对 Meta 新的 Muse Wonder 模型的完整基准运行之前,他就耗尽了 Muse Code 的每周使用配额。他在 10 月 13 日的说明发布于 Meta 推出 Muse Wonder 和 Muse Wonder Full 的次日,这在 Linton 完成可比评估之前就将该模型的成本置于焦点之中。

原始照片,附在 Morgan Linton 关于他未完成的 Muse Wonder 基准的帖子中。 原始照片,附在 Morgan Linton 的帖子中,显示他在进行 Muse Wonder 基准测试时达到 Muse Code 的使用上限。原始图像来自 @morganlinton。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.