测什么
我们一共有 29 项日常“看东西”的测试，分成 6 个类别。每项测试都一级比一级难，这样就能看出模型从哪一级开始出错，而不是只给一个笼统的分数。
- 阅读读时间、仪表、图表、标签、编码和信号。
读时钟 · 读仪表 · 视力表 · 读标签 · 读图表 · 试纸条 · 硬币求和 · 车载视角红绿灯 - 计数图片或视频里有多少个东西。
物体计数 · 货物堆码计数 · 传送带计数 - 空间、3D 与运动深度、朝向、形状、平衡，以及跟踪运动的物体。
谁离得更近 · 朝向判断 · 相同还是镜像 · 会不会倒 · 匹配渲染图 · 能停哪个车位 · 追踪藏起的物体 - 找变化与找错误什么变了，哪里不对，什么对不上。
找不同 · 货架对照陈列图 · 渲染故障 · 发票核对 - 示意图顺着电缆和管道走，读懂技术图纸。
追踪电缆 · 追踪管道 · 缺失尺寸 - 不被误导不存在的物体、错觉、伪造图，以及在确实看不出时说“无法判断”。
不存在的物体 · “无法判断” · 视错觉 · 真实还是AI生成
我们的测试图片
测试图片是我们自己做的，从不公开，所以没有模型能拿它们训练过。每张图都出自我们之手，正确答案自然一清二楚。我们还能一级一级加大难度，比如把字缩小、多放几个物体，或者把表盘斜过来。
每道题都有人审核。图片不清楚或答案有争议的题会被剔除，永远不计分。
怎么计分
每道题都要一个简短、确切的答案，比如一个时间、一个数字、一段编码，或者从列表里选一项。脚本把它和正确答案对比，少数测试允许在注明的范围内有误差。既不用 AI 当裁判，也没有人工打分。同一项测试里，每个难度等级分量相同。
选择题可以靠运气拿分。两个选项的题，闭着眼猜也能对一半，所以我们按下面的方法把这部分扣掉。
只靠瞎猜能得到的分模型在此之上多得的分
一项测试的猜测水平，就是把每道题的“1 除以选项数”取平均，自由作答题记为 0。每项测试的猜测水平和原始准确率都能在 leaderboard.json 里查到。
有的类别测试多，有的少。我们对类别取平均，而不是对所有测试取平均，这样单个大类别就左右不了总分。
置信区间与并列
每个得分都附有 95% 置信区间。做法是把答案重采样很多次，每次重算整个得分，再取中间 95% 的结果。总分和类别得分的区间来自同一批重采样，所以能反映各项测试合在一起时的情况。
如果一个模型的总分落在相邻模型的区间内，或者反过来，两者就并列，显示为“2–3”。
模型无法参加的测试
有两项测试是视频，我们把它拆成一系列图片发给模型。有些模型每个问题只能接收几张图片，所以参加不了。它们在这两项上没有得分（显示为 —），类别得分和总分只算它们参加过的测试。
目前这影响到 Perceptron Mk1.5 和 Mistral Small 2603。
日期
模型名字不变，内容却可能变了。所以每个结果都标着该模型最近一次作答的日期。
哪些保密，哪些公开
- 保密：测试图片、题目和正确答案，以及每个模型的每一条具体回答。
- 公开：得分、置信区间、每项测试的原始准确率和猜测水平、每1000次回答的成本（按各厂商的标准价格），以及测试日期。全部都在 leaderboard.json 里。
引用我们
引用 AI Vision Index 时，请附上你所用页面的链接。得分会随模型和测试的增加而变化，请注明你查看的日期。
AI Vision Index (2026). Independent, private tests of how well AI models see. https://aivisionindex.com/zh/ （访问于 2026年11月10日）。
这是我们的首个公开版本，题目、测试和模型还在陆续增加。