多年来,人们对AI视觉最大的担忧是它会凭空编造:你问一只画面里根本没有的狗,它却煞有介事地描述起这只狗。在我们的测试里,这个问题基本消失了,但另一个问题还在。
第一部分:询问不存在的东西
在“不存在的物体”测试中,问题针对的物体可能在图里,也可能不在。模型如果顺着错误的前提回答,就算答错。36个模型中有32个得分在85以上(满分100)。在较大样本上测试的24个模型中,Gemini 4 Argon 最好,得96.2分。有12个模型全部答对,正是在较小样本上测试的那12个。就连小型本地模型也表现不错:Qwen3-VL-8B 在一台PC上运行,得90分。
“无法判断”测试与此类似:图片要么给出答案,要么把答案藏起来,正确的回答可能就是说明看不出来。36个模型中有25个得分在85以上。GPT-6.1 Sol 和 Gemini 4 Argon 得100分,另有9个在较小样本上测试的模型也是100分。
美国厂商中国厂商通过 API 运行的开放权重模型本地运行其他厂商
每个点是一个模型,重叠的点会上下错开。
第二部分:视错觉
在视错觉测试里,图中的两样东西看起来不同其实相同,或者看起来相同其实不同,模型要回答哪个更大,或者两者相等。这里,图片本身就是陷阱。
36个模型中有11个得分不超过3(满分100),这和在三个选项里随机乱选没有区别。其中8个模型的得分略低于随机猜测的预期,不过差距在误差范围之内。这正是错觉奏效时应有的结果:模型报告的是错觉让它“看起来”的样子。
表现最好的是 GPT-6 Astra(81.2)、GPT-6.1 Sol(79.6)、Claude Sonnet 5.5(77.5)和 GPT-6 Luna(77.2)。垫底的包括 Gemini 3.8 Flash、DeepSeek V4.1 Flash、Gemini 3.5 Flash-Lite、Qwen3.5-9B 以及另外七个模型,得分都不超过3。这11个模型都是在较大样本上测试的。
同一个模型,两种结果
这两项能力并不挂钩。Gemini 3.8 Flash 在不存在的物体上得95分,在视错觉上是0分。Qwen3.8 Flash 是92分和2分。DeepSeek V4.1 Flash 是86分和0分。
有的厂商抗错觉,有的不行:
- OpenAI。 三个模型都在77分以上。
- Anthropic。 Sonnet 77.5分,Opus 70分,Haiku 和 Fable 5.2 都是59分,Fable 5.1 44分。
- Google。 Gemini 4 Argon 40分;Gemini 3.8 Flash 和 Gemini 3.5 Flash-Lite 都是0分。
- 中国厂商。 在较大样本上测试的六个模型都不超过18分。其余五个是在较小的样本上测试的,得分从10到70不等,差距太大,说明不了太多。
价格说明不了太多。GPT-6 Luna 每1000次回答0.74美元,得77分,接近每1000次回答38.32美元的 GPT-6 Astra(81分)。最贵的 Claude Fable 5.1 只得44分。
为什么重要
这是两种不同的能力。拒绝接受错误前提,考验的是模型愿意断言什么;看穿视觉把戏,考验的是它实际感知到了什么。通过第一项测试,并不能说明第二项也行。如果你的产品要靠模型判断图片里的大小、长度或亮度,请先用视错觉测一测。
测试方法
每项测试都提出一个有唯一确切答案的问题。视错觉图片的构造方式,使正确答案与它们看上去的样子不同。“不存在的物体”测试中的图片,包含或不包含被问到的物体。答案自动评分并已扣除猜测因素,因此0分代表纯靠猜,100分代表全对。有12个模型是在较小的样本上测试的,误差范围更宽,排行榜上标出了它们的误差范围。这些图片和问题从不公开。
测试时间为2026年10月22日至11月10日。各模型的具体日期见排行榜。