“一共有几个?”听上去是你能问看图 AI 的最简单的问题。货架上的库存、门口的人、托盘上的箱子:现实中很多工作就是数数。我们让指数里全部 36 个模型来数数。每张图都是我们自己做的,所以每张图的正确数字我们都确切知道。
简单说:AI 数小数目数得不错,场景一复杂就很快数乱。
10 个以内没问题,20 个以上大多数错
在我们的“物体计数”测试中,模型看到一个杂乱的场景,要给出某一种物体的确切数量。我们按图中物体的真实数量把图片分组:
| 图中物体数量 | 最佳模型 | 完全数对的比例 | 图中模型的平均 |
|---|---|---|---|
| 10 个以内 | Gemini 4 Argon、GPT-6 Astra、Claude Fable 5.2 | 100% | 65% |
| 11 到 20 个 | Claude Fable 5.2 | 67% | 31% |
| 21 到 30 个 | GPT-6.1 Sol | 21% | 6% |
| 50 个以上 | GPT-6 Astra | 12% | 2% |
灰色细线:每个模型一条。粗线:数得最准的两个模型,以及图中所有模型的平均。只有数字完全正确才算对。
表格和图里没有包括我们在较小样本上测试的 12 个模型,因为它们每组的图片太少。在图中的模型里,物体不超过 10 个时,有五个模型十次里能数对九次以上。在 11 到 20 个之间,最好的 Claude Fable 5.2 能数对三分之二。在 21 到 30 个之间,最好的 GPT-6.1 Sol 五次里只对一次,大多数模型几乎从不数对。超过 50 个时,几乎每个答案都是错的。
数错了,但错多少?
要求数得分毫不差,门槛很高,所以我们也看了错的答案差了多远。在最拥挤的场景里,OpenAI 最好的两个模型差得不多:GPT-6 Astra 有一半答案与真实数量相差不到 8%,GPT-6.1 Sol 有一半相差不到 10%。Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Fable 5.2 通常差三分之一左右。五个能在个人电脑上运行的小模型中,有三个通常差三分之二。
所以领先的模型估得准,数不准。问“大概来了多少人?”没问题,问“这张订单少了几件货?”就不行。
问题在杂乱,不在数字大
同样的模型,在物体排列整齐或者一个接一个出现时,数得好得多。
- 堆叠的货物。 在托盘上的箱子里,有 21 到 50 个箱子时,GPT-6.1 Sol 仍然大约四次里有三次完全数对,GPT-6 Astra 也差不多。有 31 到 50 个箱子时,在较大样本上测试的其他模型连一半都数不对。
- 视频传送带。 物品一个接一个经过时,GPT-6 Astra 每段视频都数对,GPT-6.1 Sol 也几乎全对。
让计数失灵的,是许多相似的东西挤在一起、同时出现。
美国厂商中国厂商通过 API 运行的开放权重模型本地运行其他厂商
每条末尾的数字是得分,然后是每1000次回答的成本。
计数排行榜
计数是我们六个类别之一(杂乱场景、堆叠货物和视频传送带)。在 36 个模型中,有 26 个最弱的类别就是计数。GPT-6 Astra(78)和 GPT-6.1 Sol(76)领先,甩开了所有在较大样本上测试的模型;紧随其后的是 Claude Fable 5.2(64),以及 Claude Fable 5.1 和 Claude Opus 5.5(63)。在较小样本上测试的模型误差范围更宽。阿里巴巴的 Qwen3.8 Max 得 56 分,区间从 40 到 69,所以它可能和这三个模型一样好,也可能远远落后于它们。Kimi K3.1 Pro 同样在较小的样本上测试,得 53 分。
这意味着什么
如果你的产品需要计数,请用你自己的图片、在你预期的数量范围内测试。物体不超过十个左右时,顶级模型通常会数对。在拥挤的场景里,把它给出的数字当作估计值并加以核对,或者使用专门的计数工具。如果你能控制场景,就把东西摊开,或者一个一个地数:同样的模型会表现得好得多。
测试方法
每张计数图片都由脚本或在 3D 中生成,所以真实数量是确切已知的。场景逐级变难:物体更多、更杂乱、相似物更多。模型必须只回答一个数字,只有完全一致才算对。这里我们按物体的真实数量对答案分组,这与排行榜给这项测试打分的方式不同(排行榜取各难度等级的平均),所以上面的比例不是排行榜上的得分。这些图片从不公开。
测试时间为 2026 年 10 月 22 日至 11 月 10 日。每个模型的日期见排行榜。