模型越贵,看图应该越准,你可能这么想。在我们的测试里,这往往不成立。
指数中最贵的模型是 Anthropic 的 Claude Fable 5.1。按 Anthropic 的标价,回答 1000 个关于图片的问题,成本约 $88。它的总分为 69.6(满分 100),在 36 个模型中排第九。得分比它高的八个模型,价格全都比它低。Google 的 Gemini 4 Argon 得 77.2 分,只需 $6.52。OpenAI 的 GPT-6.1 Sol 得 81.3 分,只需 $7.94。价格分别只有它的十三分之一和十一分之一,得分反而更高。
价格第二高的是月之暗面的 Kimi K3.1 Pro,成本 $71.79,得 70.6 分。它同样被 GPT-6.1 Sol 和 Gemini 4 Argon 超过,而后两者的价格只有它的约十分之一。
Anthropic 的 Claude Fable 5.2 从另一面说明了同一点。它的成本是 $53.10,比 Fable 5.1 低 40%,得分却是 80.7,高出 11.1 分。GPT-6.1 Sol 与它持平,价格只有它的约七分之一。
OpenAIAnthropicGoogle
每条线按价格顺序连起同一厂商的模型。越靠右越贵,越高越好。
同一系列内,加钱不再有用
Anthropic 的五个模型把这一点展示得很清楚:
| 模型 | 每1000次回答成本 | 得分 |
|---|---|---|
| Claude Haiku 5.5 | $1.01 | 63.5 |
| Claude Sonnet 5.5 | $11.60 | 71.0 |
| Claude Opus 5.5 | $26.16 | 76.5 |
| Claude Fable 5.2 | $53.10 | 80.7 |
| Claude Fable 5.1 | $87.95 | 69.6 |
从 Haiku 到 Sonnet,价格涨到 11 倍,得分多 7.5 分。从 Sonnet 到 Opus,价格涨到 2.3 倍,得分多 5.5 分。从 Opus 到 Fable 5.2,价格涨到 2.0 倍,得分多 4.2 分。从 Fable 5.2 到 Fable 5.1,价格涨到 1.7 倍,得分反而少了 11.1 分。与 Opus 相比,Fable 5.1 的价格是它的 3.4 倍,得分却少 6.9 分。Fable 5.1 并不比 Sonnet 更好:两者的误差范围有重叠。而 Fable 5.1 的价格是 Sonnet 的 7.6 倍。
OpenAI 的系列以另一种方式趋于平缓。从 GPT-6 Luna($0.74,60.7)到 GPT-6.1 Sol($7.94,81.3),价格涨到 10.7 倍,得分提高 20.6 分。从 Sol 到 GPT-6 Astra($38.32,83.7),价格涨到 4.8 倍,只多 2.4 分。
Google 说明新模型可以胜过大模型。Gemini 3.8 Flash 得 61.9 分,成本 $12.80。Gemini 4 Argon 得 77.2 分,成本 $6.52,得分高 15.3 分,成本只有一半。它还与 Claude Opus 5.5(76.5)持平,而价格只有 Opus($26.16)的约四分之一。Google 的开源模型 Gemma 4 31B 在这条线上位置偏低:$1.94,38.8 分。
同样的价格,截然不同的结果
阿里巴巴的 Qwen3.8 Max 和 xAI 的 Grok 4.7 每1000次回答都是 $27.40。Qwen3.8 Max 得 70.6 分,与 Kimi K3.1 Pro 持平,处在并列第六到第九名的那一组;Grok 4.7 得 54.9 分,处在并列第 10 到第 18 名的那一组。两者的测试样本都较小,所以误差范围较宽。即便如此,两者的区间并不重叠:Qwen3.8 Max 为 66.1 到 75.2,Grok 4.7 为 48.1 到 64.1。
我们如何计价
所有价格都是回答1000次所用 token 的标准标价。对 Claude 模型,我们统计了每次回答用掉的 token(图片、问题和回答),并按 Anthropic 公布的标价计费。价格包含模型在作答前用于思考的 token。(本文的早期版本采用的是 Anthropic 命令行工具报告的成本,该工具把整个问题按更高的缓存费率计费,使 Claude 的价格高出 40% 到 65%。结论没有改变。)
这个结果没有说明什么
我们测的是视觉能力,不是全部能力。Fable 5.1 可能更擅长写作、编程或长链推理。但就看图答题而言,我们没有发现值得为它付这个价钱的理由。Fable 5.1、Kimi 和其他几个模型只在每项测试均匀抽取的样本上运行,因此它们的误差范围比回答了全部题目的模型更宽。即便如此,Opus 和 Sol 明显高于 Fable 5.1,Argon 也是如此。
测试方法
每个模型都用相同的格式回答相同的问题。每个问题的唯一正确答案都内置在图片中,因此可以自动评分。得分已扣除猜测因素:0 表示不比瞎猜好,100 表示全对。成本是1000次此类回答的费用。图片和问题不会公开,所以模型不可能从网上学到它们。