AI Vision Index

文章

我们用私有测试评测了 36 个 AI 视觉模型

AI Vision Index 涵盖来自 18 家厂商的 36 个模型:谁看得最准,要花多少钱,以及每个模型仍然会在哪里出错。

AI Vision Index(视觉指数)是一个独立的排行榜,评测能看图片和视频的 AI 模型。测试由我们自己制作,大多用脚本生成,因此每道题的正确答案我们都确切知道。测试是私有的:我们从不公开图片和题目,所以模型不可能从网上学到它们。每个结果都标有测试日期。

指数涵盖来自 18 家厂商的 36 个模型,共 29 项测试、六个类别。所有模型的测试时间为 2026 年 10 月 22 日至 11 月 10 日。

简要结论

  • OpenAI 的 GPT-6 Astra 以 83.7 分(满分 100)排名第一。 GPT-6.1 Sol(81.3)和 Anthropic 的 Claude Fable 5.2(80.7)并列第二:两者的误差范围重叠。随后是 Google 的 Gemini 4 Argon(77.2)和 Anthropic 的 Claude Opus 5.5(76.5)。只有这五个模型得分超过 75。
  • 接下来是一组得分很接近的模型。 Anthropic 的 Claude Sonnet 5.5 得 71.0 分。月之暗面(Moonshot)的 Kimi K3.1 Pro 和阿里巴巴的 Qwen3.8 Max 是得分最高的中国模型,同为 70.6 分,紧随其后。两者的测试样本都较小,所以误差范围更宽:Kimi K3.1 Pro 为正负 4.2(66.6 到 75.0),Qwen3.8 Max 为正负 4.5(66.1 到 75.2)。两个区间都涵盖 Claude Sonnet 5.5 和 Claude Fable 5.1(69.6)的得分,所以这四个模型彼此都在误差范围之内,共同排在第六到第九名。
  • 中间段跨度大,底部分数低。 有 16 个模型得分超过 50,中位数为 45.6。最低的 LFM2.5-VL 1.6B 只有 12.4。
  • 没有哪个模型样样第一。 在较大样本上测试的 24 个模型中,GPT-6 Astra 在 29 项测试中有 13 项得分最高,Claude Fable 5.2 有 10 项,其中三项两者并列。Gemini 4 Argon 在“找变化与找错误”类别领先。
  • 价格不能预示质量。 我们测过的最贵的模型在这 36 个模型中只排第九。
图 1Overall score out of 100, with 95% 置信区间
每个模型的总分(满分 100)、95% 置信区间、成本和测试日期
排名 模型
Score · 95% 置信区间
每1000次回答的成本 测试日期
1GPT-6 Astra中等OpenAI · API
83.7±2.0
95% 置信区间 81.7 to 85.7
$38.32
2–3(并列)GPT-6.1 Sol中等OpenAI · API
81.3±1.3
95% 置信区间 80.0 to 82.5
$7.94
2–3(并列)Claude Fable 5.2默认Anthropic · API
80.7±2.1
95% 置信区间 78.6 to 82.8
$53.10
4–5(并列)Gemini 4 Argon默认Google · API
77.2±1.3
95% 置信区间 75.9 to 78.5
$6.52
4–5(并列)Claude Opus 5.5默认Anthropic · API
76.5±1.8
95% 置信区间 74.8 to 78.3
$26.16
6–9(并列)Claude Sonnet 5.5默认Anthropic · API
71.0±2.2
95% 置信区间 68.8 to 73.1
$11.60
6–9(并列)Kimi K3.1 Pro默认Moonshot · API
70.6±4.2
95% 置信区间 66.6 to 75.0
$71.79
6–9(并列)Qwen3.8 Max默认Alibaba · API
70.6±4.5
95% 置信区间 66.1 to 75.2
$27.40
6–9(并列)Claude Fable 5.1默认Anthropic · API
69.6±2.1
95% 置信区间 67.5 to 71.7
$87.95
10–18(并列)Claude Haiku 5.5默认Anthropic · API
63.5±1.5
95% 置信区间 62.1 to 65.0
$1.01
10–18(并列)Gemini 3.8 Flash中等Google · API
61.9±1.8
95% 置信区间 60.2 to 63.7
$12.80
10–18(并列)GPT-6 Luna中等OpenAI · API
60.7±1.5
95% 置信区间 59.3 to 62.2
$0.74
10–18(并列)Qwen3.8-27B默认Alibaba · API
59.0±8.1
95% 置信区间 51.8 to 68.0
$7.75
10–18(并列)Qwen3.8 Flash默认Alibaba · API
56.4±1.4
95% 置信区间 55.0 to 57.8
$3.04
10–18(并列)Grok 4.7默认xAI · API
54.9±8.0
95% 置信区间 48.1 to 64.1
$27.40
10–18(并列)Mistral Large 4默认Mistral · API
52.7±7.5
95% 置信区间 46.7 to 61.7
$9.59
10–18(并列)Muse Spark (open)默认Meta · API
47.6±8.5
95% 置信区间 40.3 to 57.3
$19.12
10–18(并列)GLM-5V-Turbo默认Zhipu · API
46.8±2.4
95% 置信区间 44.6 to 49.5
$12.50
19–29(并列)DeepSeek V4.1 Flash默认DeepSeek · API
44.4±1.3
95% 置信区间 43.2 to 45.8
$1.43
19–29(并列)GLM-5.3 Flash默认Zhipu · API
43.2±1.5
95% 置信区间 41.7 to 44.7
$1.40
19–29(并列)Qwen3.6-35B-A3B默认Alibaba · API
43.0±7.8
95% 置信区间 36.9 to 52.4
$3.77
19–29(并列)Qwen3-VL-235B默认Alibaba · API
41.2±7.6
95% 置信区间 35.0 to 50.2
$7.96
19–29(并列)MiniMax M3默认MiniMax · API
40.9±2.5
95% 置信区间 38.7 to 43.6
$3.53
19–29(并列)Step-5 (preview)默认StepFun · API
40.7±8.6
95% 置信区间 33.2 to 50.3
$12.50
19–29(并列)MiMo v2.6 Pro默认Xiaomi · API
40.3±2.0
95% 置信区间 38.6 to 42.6
$4.60
19–29(并列)Gemini 3.5 Flash-Lite默认Google · API
40.3±1.5
95% 置信区间 38.7 to 41.8
$0.34
19–29(并列)Gemma 4 31B默认Google · API
38.8±6.6
95% 置信区间 33.4 to 46.6
$1.94
19–29(并列)Seed 2.1 Turbo默认ByteDance · API
38.3±7.1
95% 置信区间 32.3 to 46.5
$10.85
19–29(并列)Hunyuan HY4默认Tencent · API
37.9±7.7
95% 置信区间 31.2 to 46.5
$5.71
30–31(并列)Qwen3.5-9B不思考Alibaba · 本地运行
29.5±1.5
95% 置信区间 28.0 to 31.1
$0(本地)
30–31(并列)Perceptron Mk1.5默认Perceptron · API不含视频
28.8±1.5
95% 置信区间 27.4 to 30.4
$0.20
32Qwen3-VL-8B默认Alibaba · 本地运行
26.0±1.4
95% 置信区间 24.8 to 27.6
$0(本地)
33MiniCPM-V 4.5默认OpenBMB · 本地运行
17.1±1.4
95% 置信区间 15.9 to 18.7
$0(本地)
34–36(并列)Gemma 4 E4B默认Google · 本地运行
13.7±1.3
95% 置信区间 12.5 to 15.2
$0(本地)
34–36(并列)Mistral Small 2603默认Mistral · API不含视频
12.5±1.4
95% 置信区间 11.5 to 14.2
$0.26
34–36(并列)LFM2.5-VL 1.6B默认Liquid · 本地运行
12.4±1.4
95% 置信区间 11.4 to 14.2
$0(本地)

The overall score is the average of the six category scores. 显示为“2–3”的排名是并列:这些得分太接近,分不出高下。

六个类别

每项测试属于一个类别。模型的类别得分是其各项测试得分的平均值,总分则是六个类别得分的平均值,因此没有哪个类别会一家独大。

类别 涵盖内容 最佳模型 得分 36 个模型的平均分
阅读 标签、仪表、图表、编码、红绿灯、时钟 GPT-6 Astra 88 50
计数 场景中的物体、堆叠的货物、视频传送带上的物品 GPT-6 Astra 78 33
空间、3D 与运动 深度、方向、镜像、倒塌的堆叠物、追踪藏起来的物体 Claude Fable 5.2 86 44
找变化与找错误 什么变了、什么不对、什么对不上 Gemini 4 Argon 89 56
示意图 追踪线缆和管道、推算缺失的尺寸 GPT-6 Astra 98 54
不被误导 不存在的物体、错觉、AI 生成的图片、说出“我分不出来” Claude Sonnet 5.5 78 59

GPT-6 Astra 在六个类别中领先三个。在“空间、3D 与运动”类别,Claude Fable 5.2(86)和 GPT-6 Astra(84)彼此都在误差范围之内。“不被误导”的竞争最接近:测试样本较小的 Google Gemma 4 31B 在这里也得 78 分。

36 个模型中,有 26 个最弱的类别是计数。示意图类别对顶级模型最容易:最好的两个模型在这里分别得 98 和 96 分。

让我们意外的发现

最贵的模型并不是最好的。 Claude Fable 5.1 每 1000 次回答约花费 $88,在这 36 个模型中排名第九,与更便宜的 Claude Sonnet 5.5 相当,落后于完成同样工作只需 $6.52 的 Gemini 4 Argon。Claude Fable 5.2 每 1000 次回答 $53.10,并列第二。阅读详情。

领先者分不清真实照片和 AI 生成的照片。 在一项随机猜测能答对 50% 的测试中,GPT-6 Astra 只答对 57.5%。在较大样本上测试的 24 个模型中,只有 Gemini 4 Argon 表现明显出色,为 81%。阅读详情。

AI 已不再凭空捏造不存在的物体,但仍会被错觉迷惑。 在关于不存在物体的问题上,36 个模型中有 32 个得分在 85 或以上;在视觉错觉上,36 个模型中有 11 个得分不超过 3。阅读详情。

视频是领先者拉开差距的地方。 在我们的两项视频测试中,前两名模型得分为 99 和 98。两项都参加了的 34 个模型中,有 15 个得分低于 25。阅读详情。

中国模型进入前十,但大多数差距很大。 Kimi K3.1 Pro 和 Qwen3.8 Max 同为 70.6 分,处在并列第六到第九名的那一组。Qwen3.8 Max 每 1000 次回答 $27.40;Kimi K3.1 Pro 为 $71.79,在所有模型中排第二贵。其余九个中国厂商模型得分在 37.9 到 56.4 之间。美国厂商的 13 个模型中位数为 69.6;中国厂商的 11 个模型中位数为 43.2。

能在个人电脑上运行的模型差得很远。 我们本地运行的五个模型中,最好的得分为 29.5。阅读详情。

低价模型之间差距可达五倍。 每 1000 次回答不到 1 美元的模型,得分从 12.5 到 60.7 不等。阅读详情。

成本与得分

我们按标准价格报告每 1000 次回答的成本,一次回答指对一张图片或一段视频的一个问题。成本是模型所用 token(包括它自己的思考过程)的标价,对每个模型都一样,无论我们是通过 API 还是通过厂商的命令行工具调用它。

最划算的模型位于图表左上角。GPT-6.1 Sol 以 $7.94 得 81.3 分,Gemini 4 Argon 以 $6.52 得 77.2 分,GPT-6 Luna 以 $0.74 得 60.7 分。Qwen3.8 Max 的价格与 Claude Opus 5.5 相近($27.40 对 $26.16),但得分是 70.6 对 76.5。在我们自己电脑上运行的模型每次回答不花钱,得分在 12 到 30 之间。

图 2得分与每1000次回答成本的关系
020406080100$0.3$1$3$10$30$100$0(本地)每1000次回答的成本(对数刻度)总分同价位最高分GPT-6 AstraGPT-6.1 SolFable 5.2Gemini 4 ArgonOpus 5.5Sonnet 5.5Kimi K3.1 ProQwen3.8 MaxHaiku 5.5GPT-6 LunaQwen3.8 FlashGrok 4.7DeepSeek V4.1 FlashGLM-5.3 FlashGemini 3.5 Flash-LiteGemma 4 31BQwen3.5-9BPerceptron Mk1.5Qwen3-VL-8BMiniCPM-V 4.5Gemma 4 E4BMistral Small 2603LFM2.5-VL 1.6B

OpenAIAnthropicGoogleMoonshotAlibabaxAIMistralMetaZhipuDeepSeekMiniMaxStepFunXiaomiByteDanceTencentPerceptronOpenBMBLiquid空心点:本地运行

越高越好,越靠左越便宜。竖线是 95% 置信区间。点的颜色代表厂商。空心点在我们自己的显卡上运行,每次回答不花钱,所以都在 $0 一列。 虚线连起同等价位里得分最高的模型:没有更便宜的模型比它们分数更高。

如何理解得分

0 分表示不比瞎猜好,100 分表示每次都答对。我们要扣除猜测因素,因为各项测试不同:在是非题上,模型靠运气就能答对一半;而在“时钟显示几点?”这类题上,运气几乎没用。不做校正的话,两选一测试中的 75% 和自由作答测试中的 75% 看起来一样,但后者难得多。公式为(正确率 − 蒙对概率)÷(1 − 蒙对概率),结果不会低于 0。蒙对概率由每道题的选项数决定;时间、数字或编码这类自由作答题的蒙对概率为 0。凡是展示原始正确率的地方,我们都会注明。

每个得分都有误差范围,显示在排行榜上。一些模型只在每项测试均匀抽取的样本上运行。有 12 个模型的测试样本更小,所以它们的误差范围最宽。对微小的差距要谨慎解读,一分之差视为并列。

我们如何测试

大多数测试图片由脚本在 3D 渲染器或绘图程序中生成,答案已知,然后逐级加大难度。每项测试都有从易到难的难度等级。我们用同样的格式向每个模型提出同样的问题,并将回答与已知答案自动核对。我们审查了测试,剔除了答案可能有误的题目,因此不会有模型因有问题的题目而被扣分。真实的测试题目从不公开;本站上的任何图片都是另外制作的公开示例。有些模型每个问题只接受有限数量的图片,因此其中两个无法参加视频测试;它们的得分是其能参加的测试的平均值。完整方法见方法页面。

下一步

我们会在新模型发布时加入它们,并对抽样运行的模型补跑更多测试题,先从样本最小的 12 个模型开始,让它们的误差范围缩小。欢迎告诉我们接下来想看哪个模型或哪项能力。

测试时间为 2026 年 10 月 22 日至 11 月 10 日。每个模型各自的日期见排行榜。

用邮件接收新结果

我们加入新模型或发表新文章时,会发一封简短的邮件,仅此而已。