“视频理解”是 AI 视觉的下一个热点。我们的两项视频测试显示出明显的分化：少数模型表现非常出色，大多数模型则完全无法胜任。
一项测试要求模型数出传送带上经过的物品数量；另一项要求模型在容器被来回调换时，追踪一个藏起来的物体，也就是经典的“猜杯子”游戏。视频以短片段中抽取的一组帧的形式提供给模型。每项视频测试都有确切答案。
在 36 个模型中，有 34 个能完成这两项测试。（两个低价模型 Perceptron Mk1.5 和 Mistral Small 2603 每个问题接受的图片数量太少。）下表列出领先模型和几个知名模型两项视频得分的平均值，以及它们在所有静态图片测试上的平均值。
| 模型 | 视频 | 静态图片 |
|---|---|---|
| Claude Fable 5.2 | 99 | 80 |
| GPT-6 Astra | 98 | 83 |
| GPT-6.1 Sol | 95 | 80 |
| Claude Opus 5.5 | 90 | 75 |
| Claude Fable 5.1 | 90 | 67 |
| Kimi K3.1 Pro* | 83 | 69 |
| Gemini 4 Argon | 68 | 78 |
| Qwen3.8 Max* | 66 | 71 |
| Claude Sonnet 5.5 | 62 | 71 |
| Qwen3.8 Flash | 57 | 57 |
| Claude Haiku 5.5 | 57 | 62 |
| Gemini 3.8 Flash | 49 | 63 |
| GPT-6 Luna | 40 | 62 |
* 在较小的样本上测试，误差范围更宽。
按两项的平均分排序。 “不支持”表示该模型每个问题能接收的图片，比视频测试发送的少。
六个模型在视频上表现更好
Claude Fable 5.2、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Claude Fable 5.1 的视频得分比静态图片高 15 到 23 分。Kimi K3.1 Pro 在较小的样本上测试，视频得分高 14 分。另有一个模型大致持平：阿里巴巴的 Qwen3.8 Flash。Claude Fable 5.2 和 GPT-6 Astra 并列领先。Astra 在传送带计数上拿到满分 100，每个难度等级都答对；在“猜杯子”测试中得分 96.6。Fable 5.2 正好相反：“猜杯子”拿到满分 100，每个难度等级都答对，传送带计数得 97.5。
其他模型表现更差
其余 27 个模型的视频得分更低，大多低 10 到 25 分。34 个模型中有 15 个的视频得分低于 25，而静态图片测试中只有 3 个。Google 的 Gemma 4 E4B 在两项视频测试中都得 0 分。Claude Haiku 5.5 的传送带计数还不错（78），但追踪藏起来的物体只有 35 分。Gemini 4 Argon 总体排名在前五，但它的“猜杯子”得分只有 52。阿里巴巴的 Qwen3.8 Max 总体排名在前十，在较小的样本上测试，视频得分低 5 分。
结果是差距非常大。在静态图片上，最高分 83，中位数 50；在视频上，最高分 99，中位数 28。领先者与中间水平的差距，视频是 71 分，静态图片是 33 分。
这意味着什么
如果你的产品需要跨帧计数或追踪物体，那么模型的选择比我们测过的其他任何任务都更重要。低价模型应付不了，有些昂贵的模型也不行。请从前五六名中选，并用你自己的素材测试。需要提醒的一点是：我们的片段短而干净，真实的监控或体育视频要杂乱得多。
我们如何测试
每项视频测试都会按顺序把一组帧连同一个问题交给模型。传送带测试问的是有多少物品经过，“猜杯子”测试问的是藏起来的物体最后在哪里。两项测试的难度都分级递增。答案都是确切的。得分已扣除猜测因素：0 表示不比瞎猜好，100 表示每次都答对。这里的视频只指这两项测试，所以这只是对视频能力的初步观察，而不是定论。有 12 个模型是在较小的样本上测试的，误差范围更宽，排行榜上标出了它们的误差范围。这些片段不会公开。
测试时间为 2026 年 10 月 22 日至 11 月 10 日。每个模型的测试日期见排行榜。