AI Vision Index

文章

我们测试中最贵的 AI 模型,并不是最强的

Claude Fable 5.1 每1000次回答约 $88,在 36 个模型中排第九。Gemini 4 Argon 只要 $6.52,得分却高出 7.6 分。

模型越贵,看图应该越准,你可能这么想。在我们的测试里,这往往不成立。

指数中最贵的模型是 Anthropic 的 Claude Fable 5.1。按 Anthropic 的标价,回答 1000 个关于图片的问题,成本约 $88。它的总分为 69.6(满分 100),在 36 个模型中排第九。得分比它高的八个模型,价格全都比它低。Google 的 Gemini 4 Argon 得 77.2 分,只需 $6.52。OpenAI 的 GPT-6.1 Sol 得 81.3 分,只需 $7.94。价格分别只有它的十三分之一和十一分之一,得分反而更高。

价格第二高的是月之暗面的 Kimi K3.1 Pro,成本 $71.79,得 70.6 分。它同样被 GPT-6.1 Sol 和 Gemini 4 Argon 超过,而后两者的价格只有它的约十分之一。

Anthropic 的 Claude Fable 5.2 从另一面说明了同一点。它的成本是 $53.10,比 Fable 5.1 低 40%,得分却是 80.7,高出 11.1 分。GPT-6.1 Sol 与它持平,价格只有它的约七分之一。

图 1同一家族内得分与价格的关系
406080100$0.3$1$3$10$30$100每1000次回答的成本(对数刻度)总分GPT-6 Luna · $0.74GPT-6.1 Sol · $7.94GPT-6 Astra · $38.32Claude Haiku 5.5 · $1.01Claude Sonnet 5.5 · $11.60Claude Opus 5.5 · $26.16Claude Fable 5.2 · $53.10Claude Fable 5.1 · $87.95Gemini 3.5 Flash-Lite · $0.34Gemma 4 31B · $1.94Gemini 4 Argon · $6.52Gemini 3.8 Flash · $12.80最贵,但不是最好

OpenAIAnthropicGoogle

每条线按价格顺序连起同一厂商的模型。越靠右越贵,越高越好。

同一系列内,加钱不再有用

Anthropic 的五个模型把这一点展示得很清楚:

模型 每1000次回答成本 得分
Claude Haiku 5.5 $1.01 63.5
Claude Sonnet 5.5 $11.60 71.0
Claude Opus 5.5 $26.16 76.5
Claude Fable 5.2 $53.10 80.7
Claude Fable 5.1 $87.95 69.6

从 Haiku 到 Sonnet,价格涨到 11 倍,得分多 7.5 分。从 Sonnet 到 Opus,价格涨到 2.3 倍,得分多 5.5 分。从 Opus 到 Fable 5.2,价格涨到 2.0 倍,得分多 4.2 分。从 Fable 5.2 到 Fable 5.1,价格涨到 1.7 倍,得分反而少了 11.1 分。与 Opus 相比,Fable 5.1 的价格是它的 3.4 倍,得分却少 6.9 分。Fable 5.1 并不比 Sonnet 更好:两者的误差范围有重叠。而 Fable 5.1 的价格是 Sonnet 的 7.6 倍。

OpenAI 的系列以另一种方式趋于平缓。从 GPT-6 Luna($0.74,60.7)到 GPT-6.1 Sol($7.94,81.3),价格涨到 10.7 倍,得分提高 20.6 分。从 Sol 到 GPT-6 Astra($38.32,83.7),价格涨到 4.8 倍,只多 2.4 分。

Google 说明新模型可以胜过大模型。Gemini 3.8 Flash 得 61.9 分,成本 $12.80。Gemini 4 Argon 得 77.2 分,成本 $6.52,得分高 15.3 分,成本只有一半。它还与 Claude Opus 5.5(76.5)持平,而价格只有 Opus($26.16)的约四分之一。Google 的开源模型 Gemma 4 31B 在这条线上位置偏低:$1.94,38.8 分。

同样的价格,截然不同的结果

阿里巴巴的 Qwen3.8 Max 和 xAI 的 Grok 4.7 每1000次回答都是 $27.40。Qwen3.8 Max 得 70.6 分,与 Kimi K3.1 Pro 持平,处在并列第六到第九名的那一组;Grok 4.7 得 54.9 分,处在并列第 10 到第 18 名的那一组。两者的测试样本都较小,所以误差范围较宽。即便如此,两者的区间并不重叠:Qwen3.8 Max 为 66.1 到 75.2,Grok 4.7 为 48.1 到 64.1。

我们如何计价

所有价格都是回答1000次所用 token 的标准标价。对 Claude 模型,我们统计了每次回答用掉的 token(图片、问题和回答),并按 Anthropic 公布的标价计费。价格包含模型在作答前用于思考的 token。(本文的早期版本采用的是 Anthropic 命令行工具报告的成本,该工具把整个问题按更高的缓存费率计费,使 Claude 的价格高出 40% 到 65%。结论没有改变。)

这个结果没有说明什么

我们测的是视觉能力,不是全部能力。Fable 5.1 可能更擅长写作、编程或长链推理。但就看图答题而言,我们没有发现值得为它付这个价钱的理由。Fable 5.1、Kimi 和其他几个模型只在每项测试均匀抽取的样本上运行,因此它们的误差范围比回答了全部题目的模型更宽。即便如此,Opus 和 Sol 明显高于 Fable 5.1,Argon 也是如此。

测试方法

每个模型都用相同的格式回答相同的问题。每个问题的唯一正确答案都内置在图片中,因此可以自动评分。得分已扣除猜测因素:0 表示不比瞎猜好,100 表示全对。成本是1000次此类回答的费用。图片和问题不会公开,所以模型不可能从网上学到它们。

测试时间为 2026 年 10 月 22 日至 11 月 10 日。每个模型各自的日期见排行榜,另见方法页。

用邮件接收新结果

我们加入新模型或发表新文章时,会发一封简短的邮件,仅此而已。