AI Vision Index

文章

AI 能数到 20 以上吗?画面一乱就不行。

物体不超过 10 个时,最好的模型十次里能数对九次以上。在杂乱场景里有 21 到 30 个物体时,最好的模型只能数对五分之一。整齐的堆叠和逐个经过的视频则是另一回事。

“一共有几个?”听上去是你能问看图 AI 的最简单的问题。货架上的库存、门口的人、托盘上的箱子:现实中很多工作就是数数。我们让指数里全部 36 个模型来数数。每张图都是我们自己做的,所以每张图的正确数字我们都确切知道。

简单说:AI 数小数目数得不错,场景一复杂就很快数乱。

10 个以内没问题,20 个以上大多数错

在我们的“物体计数”测试中,模型看到一个杂乱的场景,要给出某一种物体的确切数量。我们按图中物体的真实数量把图片分组:

图中物体数量 最佳模型 完全数对的比例 图中模型的平均
10 个以内 Gemini 4 Argon、GPT-6 Astra、Claude Fable 5.2 100% 65%
11 到 20 个 Claude Fable 5.2 67% 31%
21 到 30 个 GPT-6.1 Sol 21% 6%
50 个以上 GPT-6 Astra 12% 2%
图 1按实际数量分组,完全数对的比例:物体计数,%
025507510010 个以内11 到 20 个21 到 30 个50 个以上GPT-6 AstraGPT-6.1 Sol图中模型的平均

灰色细线:每个模型一条。粗线:数得最准的两个模型,以及图中所有模型的平均。只有数字完全正确才算对。

表格和图里没有包括我们在较小样本上测试的 12 个模型,因为它们每组的图片太少。在图中的模型里,物体不超过 10 个时,有五个模型十次里能数对九次以上。在 11 到 20 个之间,最好的 Claude Fable 5.2 能数对三分之二。在 21 到 30 个之间,最好的 GPT-6.1 Sol 五次里只对一次,大多数模型几乎从不数对。超过 50 个时,几乎每个答案都是错的。

数错了,但错多少?

要求数得分毫不差,门槛很高,所以我们也看了错的答案差了多远。在最拥挤的场景里,OpenAI 最好的两个模型差得不多:GPT-6 Astra 有一半答案与真实数量相差不到 8%,GPT-6.1 Sol 有一半相差不到 10%。Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Fable 5.2 通常差三分之一左右。五个能在个人电脑上运行的小模型中,有三个通常差三分之二。

所以领先的模型估得准,数不准。问“大概来了多少人?”没问题,问“这张订单少了几件货?”就不行。

问题在杂乱,不在数字大

同样的模型,在物体排列整齐或者一个接一个出现时,数得好得多。

  • 堆叠的货物。 在托盘上的箱子里,有 21 到 50 个箱子时,GPT-6.1 Sol 仍然大约四次里有三次完全数对,GPT-6 Astra 也差不多。有 31 到 50 个箱子时,在较大样本上测试的其他模型连一半都数不对。
  • 视频传送带。 物品一个接一个经过时,GPT-6 Astra 每段视频都数对,GPT-6.1 Sol 也几乎全对。

让计数失灵的,是许多相似的东西挤在一起、同时出现。

图 2计数:得分(满分 100)及其 95% 置信区间
0255075100GPT-6 Astra78 · $38.32GPT-6.1 Sol76 · $7.94Claude Fable 5.264 · $53.10Claude Fable 5.163 · $87.95Claude Opus 5.563 · $26.16Gemini 4 Argon58 · $6.52Qwen3.8 Max56 · $27.40Kimi K3.1 Pro53 · $71.79Grok 4.753 · $27.40Claude Sonnet 5.553 · $11.60Claude Haiku 5.548 · $1.01Qwen3.8-27B47 · $7.75Gemini 3.8 Flash42 · $12.80Qwen3.8 Flash41 · $3.04Mistral Large 440 · $9.59GPT-6 Luna35 · $0.74Muse Spark (open)33 · $19.12Seed 2.1 Turbo27 · $10.85Gemini 3.5 Flash-Lite22 · $0.34Qwen3-VL-235B20 · $7.96Step-5 (preview)20 · $12.50MiMo v2.6 Pro19 · $4.60Qwen3.5-9B19 · $0(本地)GLM-5V-Turbo19 · $12.50Qwen3-VL-8B18 · $0(本地)DeepSeek V4.1 Flash17 · $1.43GLM-5.3 Flash16 · $1.40MiniMax M315 · $3.53Qwen3.6-35B-A3B13 · $3.77MiniCPM-V 4.512 · $0(本地)Perceptron Mk1.511 · $0.20Mistral Small 260310 · $0.26Hunyuan HY47 · $5.71LFM2.5-VL 1.6B6 · $0(本地)Gemma 4 E4B3 · $0(本地)Gemma 4 31B0 · $1.94

美国厂商中国厂商通过 API 运行的开放权重模型本地运行其他厂商

每条末尾的数字是得分,然后是每1000次回答的成本。

计数排行榜

计数是我们六个类别之一(杂乱场景、堆叠货物和视频传送带)。在 36 个模型中,有 26 个最弱的类别就是计数。GPT-6 Astra(78)和 GPT-6.1 Sol(76)领先,甩开了所有在较大样本上测试的模型;紧随其后的是 Claude Fable 5.2(64),以及 Claude Fable 5.1 和 Claude Opus 5.5(63)。在较小样本上测试的模型误差范围更宽。阿里巴巴的 Qwen3.8 Max 得 56 分,区间从 40 到 69,所以它可能和这三个模型一样好,也可能远远落后于它们。Kimi K3.1 Pro 同样在较小的样本上测试,得 53 分。

这意味着什么

如果你的产品需要计数,请用你自己的图片、在你预期的数量范围内测试。物体不超过十个左右时,顶级模型通常会数对。在拥挤的场景里,把它给出的数字当作估计值并加以核对,或者使用专门的计数工具。如果你能控制场景,就把东西摊开,或者一个一个地数:同样的模型会表现得好得多。

测试方法

每张计数图片都由脚本或在 3D 中生成,所以真实数量是确切已知的。场景逐级变难:物体更多、更杂乱、相似物更多。模型必须只回答一个数字,只有完全一致才算对。这里我们按物体的真实数量对答案分组,这与排行榜给这项测试打分的方式不同(排行榜取各难度等级的平均),所以上面的比例不是排行榜上的得分。这些图片从不公开。

测试时间为 2026 年 10 月 22 日至 11 月 10 日。每个模型的日期见排行榜。

用邮件接收新结果

我们加入新模型或发表新文章时,会发一封简短的邮件,仅此而已。