AI Vision Index

分项测试

每个模型强在哪里,弱在哪里

这里是全部 29 项测试,分成 6 个类别。得分是答对的比例,扣掉了蒙对的部分,满分 100。鼠标移到格子上或点一下,能看到 95% 置信区间。

图 1各项测试得分(满分 100),按类别分组
各项测试得分(满分 100),共 29 项测试,分为 6 个类别
阅读计数空间、3D 与运动找变化与找错误示意图不被误导
GPT-6 Astra中等98989878917580895280100608575858797979288551009210010094968115
GPT-6.1 Sol中等98918878807074805081988073617484979287855399919898891008019
Claude Fable 5.2默认95955290757870965242988082757093100100821006497901009594965940
Gemini 4 Argon默认96908289587266843754839097246182985294947394859591961004061
Claude Opus 5.5默认918544887670677843529270792059821008874956710081989293977044
Claude Sonnet 5.5默认8790328563726164466053657455407497709072528178859095947844
Kimi K3.1 Pro默认808760876747609047209310069040561007287873610087871001001005020
Qwen3.8 Max默认87734087428060705353608769337010093729373368660931001001003047
Claude Fable 5.1默认658225855672526242608775594055611009260905210063759094994448
Claude Haiku 5.5默认817631785070407429377844639355492357684329776847695965939
Gemini 3.8 Flash中等725148824838537530544175762662729356809267995865819597020
GPT-6 Luna中等757040664662447038333365498516592477778449169588690997724
Qwen3.8-27B默认6040206050804070800601002904047100458080521004060801001004020
Qwen3.8 Flash默认65553877466649683427617359051559653746825895754879292235
Grok 4.7默认4080010050606040606040100292010471004560605210040080100677020
Mistral Large 4默认4060208050606010100020602901047100178060281006060801001001020
Muse Spark (open)默认608020805060404060202060530104710017404052794020601001004020
GLM-5V-Turbo默认704812604150507022251070470405389425260528748326094961410
DeepSeek V4.1 Flash默认2636206850453248292226536024428937625830925232788690031
GLM-5.3 Flash默认424326614452254626111254450185375305658278240377089901136
Qwen3.6-35B-A3B默认808020805060607040002053010477817606028364040601001001020
Qwen3-VL-235B默认6060201005020204020400602900477825100402806040201001004020
MiniMax M3默认3235226041454051128256053014476917605534685032729471185
Step-5 (preview)默认4040060756020402040060290100785040602857404060100674020
MiMo v2.6 Pro默认93286937493252182317662901232882855711987513254927985
Gemini 3.5 Flash-Lite默认2338480534920511630184742032547624325039555019628689037
Gemma 4 31B默认2040206050402040000206070078458020761540404010010010100
Seed 2.1 Turbo默认040406025202010800020601003345804028364020801001001060
Hunyuan HY4默认404040602502040002020290020554520605279402080100677020
Qwen3.5-9B不思考503836847334501910286023131050310488318356348973020
Perceptron Mk1.5默认51451695141454148—62270235647—3218763414239176021
Qwen3-VL-8B默认412707246305411118236521013814173611234321014908609
MiniCPM-V 4.5默认21605531270381014133090000538812618218262312
Gemma 4 E4B默认010054262641290044801105012105210646763027
Mistral Small 2603默认06061292220614—2600760—3246610216385000
LFM2.5-VL 1.6B默认260413724034112412051100168305732555505
格子颜色越深,得分越高;— 表示该模型参加不了这项测试。点列名可以排序。 左右滑动可看全部 29 项测试。

视频

视频理解

我们有两项测试是短视频。一项要模型在容器移动时盯住藏起来的物体,另一项要它数清传送带上经过的物品。两项考的都是模型能不能随时间追踪事物。

模型看到的视频,其实是一连串静止的图片。要答对,它得在前后画面里认出同一个东西,记住东西被遮住时去了哪里,还不能重复数。大多数模型主要是用单张图片训练的,所以跟完一整段视频,比读一张图难得多。

有些模型每个问题只能接收几张图片,我们没法让它们参加这两项测试,所以这里没有它们的得分。

追踪藏起的物体

几个容器来回滑动,其中一个下面藏着东西。模型要说出它最后在哪里。

传送带计数

物品随传送带一个个经过。模型要说出一共过去了几个,每个只算一次。

41两项视频测试的平均分52其他所有测试的平均分

图 2两项视频测试的得分(满分 100)
模型追踪藏起的物体传送带计数
Claude Fable 5.2默认
GPT-6 Astra中等
GPT-6.1 Sol中等
Claude Opus 5.5默认
Claude Fable 5.1默认
Kimi K3.1 Pro默认
Gemini 4 Argon默认
Qwen3.8 Max默认
Claude Sonnet 5.5默认
Qwen3.8 Flash默认
Claude Haiku 5.5默认
Qwen3.8-27B默认
Gemini 3.8 Flash中等
Grok 4.7默认
GPT-6 Luna中等
Hunyuan HY4默认
DeepSeek V4.1 Flash默认
GLM-5V-Turbo默认
Step-5 (preview)默认
Gemma 4 31B默认
Seed 2.1 Turbo默认
MiMo v2.6 Pro默认
MiniMax M3默认
GLM-5.3 Flash默认
Gemini 3.5 Flash-Lite默认
Qwen3-VL-8B默认
Mistral Large 4默认
Muse Spark (open)默认
Qwen3.5-9B不思考
Qwen3-VL-235B默认
MiniCPM-V 4.5默认
Qwen3.6-35B-A3B默认
LFM2.5-VL 1.6B默认
Gemma 4 E4B默认
Perceptron Mk1.5默认
追踪藏起的物体不支持
传送带计数不支持
Mistral Small 2603默认
追踪藏起的物体不支持
传送带计数不支持

按两项的平均分排序。 “不支持”表示该模型每个问题能接收的图片,比视频测试发送的少。