分项测试
每个模型强在哪里,弱在哪里
这里是全部 29 项测试,分成 6 个类别。得分是答对的比例,扣掉了蒙对的部分,满分 100。鼠标移到格子上或点一下,能看到 95% 置信区间。
| 阅读 | 计数 | 空间、3D 与运动 | 找变化与找错误 | 示意图 | 不被误导 | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| GPT-6 Astra中等 | 98 | 98 | 98 | 78 | 91 | 75 | 80 | 89 | 52 | 80 | 100 | 60 | 85 | 75 | 85 | 87 | 97 | 97 | 92 | 88 | 55 | 100 | 92 | 100 | 100 | 94 | 96 | 81 | 15 |
| GPT-6.1 Sol中等 | 98 | 91 | 88 | 78 | 80 | 70 | 74 | 80 | 50 | 81 | 98 | 80 | 73 | 61 | 74 | 84 | 97 | 92 | 87 | 85 | 53 | 99 | 91 | 98 | 98 | 89 | 100 | 80 | 19 |
| Claude Fable 5.2默认 | 95 | 95 | 52 | 90 | 75 | 78 | 70 | 96 | 52 | 42 | 98 | 80 | 82 | 75 | 70 | 93 | 100 | 100 | 82 | 100 | 64 | 97 | 90 | 100 | 95 | 94 | 96 | 59 | 40 |
| Gemini 4 Argon默认 | 96 | 90 | 82 | 89 | 58 | 72 | 66 | 84 | 37 | 54 | 83 | 90 | 97 | 24 | 61 | 82 | 98 | 52 | 94 | 94 | 73 | 94 | 85 | 95 | 91 | 96 | 100 | 40 | 61 |
| Claude Opus 5.5默认 | 91 | 85 | 44 | 88 | 76 | 70 | 67 | 78 | 43 | 52 | 92 | 70 | 79 | 20 | 59 | 82 | 100 | 88 | 74 | 95 | 67 | 100 | 81 | 98 | 92 | 93 | 97 | 70 | 44 |
| Claude Sonnet 5.5默认 | 87 | 90 | 32 | 85 | 63 | 72 | 61 | 64 | 46 | 60 | 53 | 65 | 74 | 55 | 40 | 74 | 97 | 70 | 90 | 72 | 52 | 81 | 78 | 85 | 90 | 95 | 94 | 78 | 44 |
| Kimi K3.1 Pro默认 | 80 | 87 | 60 | 87 | 67 | 47 | 60 | 90 | 47 | 20 | 93 | 100 | 69 | 0 | 40 | 56 | 100 | 72 | 87 | 87 | 36 | 100 | 87 | 87 | 100 | 100 | 100 | 50 | 20 |
| Qwen3.8 Max默认 | 87 | 73 | 40 | 87 | 42 | 80 | 60 | 70 | 53 | 53 | 60 | 87 | 69 | 33 | 70 | 100 | 93 | 72 | 93 | 73 | 36 | 86 | 60 | 93 | 100 | 100 | 100 | 30 | 47 |
| Claude Fable 5.1默认 | 65 | 82 | 25 | 85 | 56 | 72 | 52 | 62 | 42 | 60 | 87 | 75 | 59 | 40 | 55 | 61 | 100 | 92 | 60 | 90 | 52 | 100 | 63 | 75 | 90 | 94 | 99 | 44 | 48 |
| Claude Haiku 5.5默认 | 81 | 76 | 31 | 78 | 50 | 70 | 40 | 74 | 29 | 37 | 78 | 44 | 63 | 9 | 35 | 54 | 92 | 35 | 76 | 84 | 32 | 97 | 76 | 84 | 76 | 95 | 96 | 59 | 39 |
| Gemini 3.8 Flash中等 | 72 | 51 | 48 | 82 | 48 | 38 | 53 | 75 | 30 | 54 | 41 | 75 | 76 | 26 | 62 | 72 | 93 | 56 | 80 | 92 | 67 | 99 | 58 | 65 | 81 | 95 | 97 | 0 | 20 |
| GPT-6 Luna中等 | 75 | 70 | 40 | 66 | 46 | 62 | 44 | 70 | 38 | 33 | 33 | 65 | 49 | 8 | 51 | 65 | 92 | 47 | 77 | 78 | 44 | 91 | 69 | 58 | 86 | 90 | 99 | 77 | 24 |
| Qwen3.8-27B默认 | 60 | 40 | 20 | 60 | 50 | 80 | 40 | 70 | 80 | 0 | 60 | 100 | 29 | 0 | 40 | 47 | 100 | 45 | 80 | 80 | 52 | 100 | 40 | 60 | 80 | 100 | 100 | 40 | 20 |
| Qwen3.8 Flash默认 | 65 | 55 | 38 | 77 | 46 | 66 | 49 | 68 | 34 | 27 | 61 | 73 | 59 | 0 | 51 | 55 | 96 | 53 | 74 | 68 | 25 | 89 | 57 | 54 | 87 | 92 | 92 | 2 | 35 |
| Grok 4.7默认 | 40 | 80 | 0 | 100 | 50 | 60 | 60 | 40 | 60 | 60 | 40 | 100 | 29 | 20 | 10 | 47 | 100 | 45 | 60 | 60 | 52 | 100 | 40 | 0 | 80 | 100 | 67 | 70 | 20 |
| Mistral Large 4默认 | 40 | 60 | 20 | 80 | 50 | 60 | 60 | 10 | 100 | 0 | 20 | 60 | 29 | 0 | 10 | 47 | 100 | 17 | 80 | 60 | 28 | 100 | 60 | 60 | 80 | 100 | 100 | 10 | 20 |
| Muse Spark (open)默认 | 60 | 80 | 20 | 80 | 50 | 60 | 40 | 40 | 60 | 20 | 20 | 60 | 53 | 0 | 10 | 47 | 100 | 17 | 40 | 40 | 52 | 79 | 40 | 20 | 60 | 100 | 100 | 40 | 20 |
| GLM-5V-Turbo默认 | 70 | 48 | 12 | 60 | 41 | 50 | 50 | 70 | 22 | 25 | 10 | 70 | 47 | 0 | 40 | 53 | 89 | 42 | 52 | 60 | 52 | 87 | 48 | 32 | 60 | 94 | 96 | 14 | 10 |
| DeepSeek V4.1 Flash默认 | 26 | 36 | 20 | 68 | 50 | 45 | 32 | 48 | 29 | 2 | 22 | 65 | 36 | 0 | 24 | 42 | 89 | 37 | 62 | 58 | 30 | 92 | 52 | 32 | 78 | 86 | 90 | 0 | 31 |
| GLM-5.3 Flash默认 | 42 | 43 | 26 | 61 | 44 | 52 | 25 | 46 | 26 | 11 | 12 | 54 | 45 | 0 | 18 | 53 | 75 | 30 | 56 | 58 | 27 | 82 | 40 | 37 | 70 | 89 | 90 | 11 | 36 |
| Qwen3.6-35B-A3B默认 | 80 | 80 | 20 | 80 | 50 | 60 | 60 | 70 | 40 | 0 | 0 | 20 | 53 | 0 | 10 | 47 | 78 | 17 | 60 | 60 | 28 | 36 | 40 | 40 | 60 | 100 | 100 | 10 | 20 |
| Qwen3-VL-235B默认 | 60 | 60 | 20 | 100 | 50 | 20 | 20 | 40 | 20 | 40 | 0 | 60 | 29 | 0 | 0 | 47 | 78 | 25 | 100 | 40 | 28 | 0 | 60 | 40 | 20 | 100 | 100 | 40 | 20 |
| MiniMax M3默认 | 32 | 35 | 22 | 60 | 41 | 45 | 40 | 51 | 12 | 8 | 25 | 60 | 53 | 0 | 14 | 47 | 69 | 17 | 60 | 55 | 34 | 68 | 50 | 32 | 72 | 94 | 71 | 18 | 5 |
| Step-5 (preview)默认 | 40 | 40 | 0 | 60 | 75 | 60 | 20 | 40 | 20 | 40 | 0 | 60 | 29 | 0 | 10 | 0 | 78 | 50 | 40 | 60 | 28 | 57 | 40 | 40 | 60 | 100 | 67 | 40 | 20 |
| MiMo v2.6 Pro默认 | 9 | 32 | 8 | 69 | 37 | 49 | 32 | 52 | 18 | 23 | 17 | 66 | 29 | 0 | 12 | 32 | 88 | 28 | 55 | 71 | 19 | 87 | 51 | 32 | 54 | 92 | 79 | 8 | 5 |
| Gemini 3.5 Flash-Lite默认 | 23 | 38 | 4 | 80 | 53 | 49 | 20 | 51 | 16 | 30 | 18 | 47 | 42 | 0 | 32 | 54 | 76 | 24 | 32 | 50 | 39 | 55 | 50 | 19 | 62 | 86 | 89 | 0 | 37 |
| Gemma 4 31B默认 | 20 | 40 | 20 | 60 | 50 | 40 | 20 | 40 | 0 | 0 | 0 | 20 | 6 | 0 | 70 | 0 | 78 | 45 | 80 | 20 | 76 | 15 | 40 | 40 | 40 | 100 | 100 | 10 | 100 |
| Seed 2.1 Turbo默认 | 0 | 40 | 40 | 60 | 25 | 20 | 20 | 10 | 80 | 0 | 0 | 20 | 6 | 0 | 10 | 0 | 33 | 45 | 80 | 40 | 28 | 36 | 40 | 20 | 80 | 100 | 100 | 10 | 60 |
| Hunyuan HY4默认 | 40 | 40 | 40 | 60 | 25 | 0 | 20 | 40 | 0 | 0 | 20 | 20 | 29 | 0 | 0 | 20 | 55 | 45 | 20 | 60 | 52 | 79 | 40 | 20 | 80 | 100 | 67 | 70 | 20 |
| Qwen3.5-9B不思考 | 50 | 38 | 3 | 68 | 47 | 33 | 4 | 50 | 19 | 10 | 28 | 60 | 23 | 13 | 10 | 50 | 31 | 0 | 48 | 8 | 31 | 8 | 35 | 6 | 34 | 89 | 73 | 0 | 20 |
| Perceptron Mk1.5默认 | 51 | 45 | 1 | 69 | 51 | 41 | 4 | 54 | 14 | 8 | — | 62 | 27 | 0 | 23 | 56 | 47 | — | 32 | 18 | 7 | 6 | 34 | 14 | 23 | 91 | 76 | 0 | 21 |
| Qwen3-VL-8B默认 | 41 | 27 | 0 | 72 | 46 | 30 | 5 | 41 | 11 | 18 | 23 | 65 | 21 | 0 | 1 | 38 | 14 | 17 | 36 | 11 | 23 | 4 | 32 | 10 | 14 | 90 | 86 | 0 | 9 |
| MiniCPM-V 4.5默认 | 2 | 16 | 0 | 55 | 31 | 27 | 0 | 38 | 10 | 14 | 13 | 30 | 9 | 0 | 0 | 0 | 0 | 5 | 38 | 8 | 12 | 6 | 18 | 2 | 1 | 82 | 62 | 3 | 12 |
| Gemma 4 E4B默认 | 0 | 10 | 0 | 54 | 26 | 26 | 4 | 12 | 9 | 0 | 0 | 44 | 8 | 0 | 1 | 10 | 5 | 0 | 12 | 10 | 5 | 2 | 10 | 6 | 4 | 67 | 63 | 0 | 27 |
| Mistral Small 2603默认 | 0 | 6 | 0 | 61 | 29 | 22 | 2 | 0 | 6 | 14 | — | 26 | 0 | 0 | 7 | 6 | 0 | — | 32 | 4 | 6 | 6 | 10 | 2 | 16 | 38 | 50 | 0 | 0 |
| LFM2.5-VL 1.6B默认 | 2 | 6 | 0 | 41 | 37 | 24 | 0 | 34 | 11 | 2 | 4 | 12 | 0 | 5 | 1 | 1 | 0 | 0 | 16 | 8 | 30 | 5 | 7 | 3 | 2 | 55 | 55 | 0 | 5 |
格子颜色越深,得分越高;— 表示该模型参加不了这项测试。点列名可以排序。
左右滑动可看全部 29 项测试。
视频
视频理解
我们有两项测试是短视频。一项要模型在容器移动时盯住藏起来的物体,另一项要它数清传送带上经过的物品。两项考的都是模型能不能随时间追踪事物。
模型看到的视频,其实是一连串静止的图片。要答对,它得在前后画面里认出同一个东西,记住东西被遮住时去了哪里,还不能重复数。大多数模型主要是用单张图片训练的,所以跟完一整段视频,比读一张图难得多。
有些模型每个问题只能接收几张图片,我们没法让它们参加这两项测试,所以这里没有它们的得分。
追踪藏起的物体
几个容器来回滑动,其中一个下面藏着东西。模型要说出它最后在哪里。
传送带计数
物品随传送带一个个经过。模型要说出一共过去了几个,每个只算一次。
41两项视频测试的平均分52其他所有测试的平均分
模型追踪藏起的物体传送带计数
按两项的平均分排序。 “不支持”表示该模型每个问题能接收的图片,比视频测试发送的少。