AI Vision Index

文章

能在自己电脑上跑的小型AI模型,得分只有最强云端模型的三分之一

我们在一台普通PC上跑了五个小型开源模型,最高分29.5(满分100),而 GPT-6 Astra 是83.7。Google 最便宜的云端模型每1000次回答只要34美分,却超过了这五个模型。更大的开源模型表现更好,但需要更强的机器。

在自己的机器上运行AI模型,免费、保护隐私,还能离线使用。对于处理私人照片、工厂摄像头或手机App这类场景,这很有吸引力。那么,你要为此牺牲多少“视力”?

相当多。我们在一台消费级PC上运行了五个开放权重的视觉模型,让它们做和云端模型相同的私有测试。表现最好的是阿里巴巴的 Qwen3.5-9B,得分29.5(满分100),只有榜首 GPT-6 Astra(83.7)的35%。

图 1本地运行的模型与三个云端模型的总分对比
0255075100GPT-6 Astra83.7 · $38.32GPT-6 Luna60.7 · $0.74Gemini 3.5 Flash-Lite40.3 · $0.34Qwen3.5-9B29.5 · $0(本地)Qwen3-VL-8B26.0 · $0(本地)MiniCPM-V 4.517.1 · $0(本地)Gemma 4 E4B13.7 · $0(本地)LFM2.5-VL 1.6B12.4 · $0(本地)

在我们自己的显卡上运行由厂商托管

总分(满分 100)及其 95% 置信区间,然后是每1000次回答的成本。

五个本地模型

模型 厂商 得分
Qwen3.5-9B 阿里巴巴 29.5
Qwen3-VL-8B 阿里巴巴 26.0
MiniCPM-V 4.5 OpenBMB 17.1
Gemma 4 E4B Google 13.7
LFM2.5-VL 1.6B Liquid 12.4

作为对照:Google 的小型云端模型 Gemini 3.5 Flash-Lite 得40.3分,每1000次回答只需34美分,也就是每个问题大约三十分之一美分,比最好的本地模型高出10.8分。GPT-6 Luna 得60.7分,是最好本地模型的两倍,价格是74美分。如果你需要答案可靠,免费不等于划算。

本地模型能做什么

它们并非一无是处,有两件事做得还行:

  • 判断画面里有没有某样东西。 在“可能根本不存在的物体”这类问题上,Qwen3-VL-8B 得90分,Qwen3.5-9B 得89分。最好的云端模型得95到100分。
  • 简单的阅读和距离判断。 Qwen3-VL-8B 在读取标签上的编码时得72分,在判断哪个物体更近时得65分。

它们做不到什么

五个本地模型的类别平均分是:计数12、示意图12、空间、3D 与运动14、找变化与找错误16、阅读25。美国厂商的13个云端模型在同样这些类别上平均分别是53、75、64、74和67。相对最不差的是“不被误导”类别(40对69),但这主要靠简单的“有没有?”类问题撑起来。在视错觉题上,五个模型得分都不超过3。视频方面,Gemma 4 E4B 在两项测试中都是0分。

更大的开源模型表现更好

开放权重并不只属于小模型。指数里还有四个更大的开源模型,参数从270亿到2350亿不等。它们需要的内存超过一般PC,所以我们通过API来运行。它们的测试样本较小,所以误差范围更宽:

模型 厂商 得分 95% 置信区间
Qwen3.8-27B 阿里巴巴 59.0 52 到 68
Qwen3.6-35B-A3B 阿里巴巴 43.0 37 到 52
Qwen3-VL-235B 阿里巴巴 41.2 35 到 50
Gemma 4 31B Google 38.8 33 到 47

即使按区间的下限算,这四个模型也都超过了每一个本地模型。Qwen3.8-27B 的得分是最好本地模型的两倍,在误差范围内与 GPT-6 Luna 持平。月之暗面的 Kimi K3.1 Pro 也公开了权重,得70.6分,但它需要的算力远超一台PC。

大不一定好

Qwen3.8-27B(59.0)超过了规模接近它九倍的 Qwen3-VL-235B(41.2),而且两者的区间没有重叠。在本地模型里,Qwen3.5-9B(29.5)超过了 Qwen3-VL-8B(26.0);最小的 LFM2.5-VL 1.6B(12.4)和 Gemma 4 E4B(13.7)差距不大。在同一个系列里,规模确实有用:Gemma 4 31B 得38.8分,差不多是它的小兄弟的三倍。

这意味着什么

对于私密、离线、偶尔答错也无妨的工作,本地模型可以用来筛选图片,回答“有没有……?”这类问题。如果你有一块强力显卡或一台服务器,像 Qwen3.8-27B 这样更大的开源模型能达到便宜云端模型的水平。只要结果必须准确,尤其是计数、读表盘或沿着线条追踪,就该用顶级的云端模型。

测试方法

本地模型在一台PC上通过 LM Studio 运行,使用能装进内存的压缩版本。除 Qwen3.5-9B 关闭了思考模式外,其余模型都使用默认设置。每个模型拿到的问题和格式完全一致,答案按确切的标准答案自动评分,并已扣除猜测因素。一些模型(包括这四个)的测试样本较小,误差范围更宽;排行榜上标出了每个模型的误差范围。

测试时间为2026年10月22日至11月10日。见排行榜。

用邮件接收新结果

我们加入新模型或发表新文章时,会发一封简短的邮件,仅此而已。