真正被放进产品里的,往往是低价模型。它们每天要看成千上万张图片,所以每次回答的价格很重要。”便宜”背后的质量差距极大。
不到一美元,差五倍
按标准价格,36 个模型中有四个每1000次回答的成本不到一美元。它们的得分如下:
| 模型 | 厂商 | 每1000次回答成本 | 得分 |
|---|---|---|---|
| Perceptron Mk1.5 | Perceptron | $0.20 | 28.8 |
| Mistral Small 2603 | Mistral | $0.26 | 12.5 |
| Gemini 3.5 Flash-Lite | $0.34 | 40.3 | |
| GPT-6 Luna | OpenAI | $0.74 | 60.7 |
四个里最便宜的 Perceptron Mk1.5 并不是最好的。Mistral Small 2603 成本 26 美分,得 12.5 分,接近随机猜测。Gemini 3.5 Flash-Lite 成本 34 美分,得 40.3 分。GPT-6 Luna 的价格约为 Flash-Lite 的两倍,得分却高出 20 分。Perceptron 和 Mistral 无法完成我们的两项视频测试,所以它们的得分是各自能参加的测试的平均。
美国厂商中国厂商通过 API 运行的开放权重模型其他厂商
条形是总分(满分 100),误差线是 95% 置信区间。条形末端的数字是每1000次回答的成本。
GPT-6 Luna 胜过 11 个中国厂商模型中的九个
Luna 得 60.7 分。11 个中国厂商模型中,有九个得分在 37.9 到 56.4 之间,而价格是 Luna 的 2 到 17 倍:Qwen3.8 Flash $3.04(56.4)、GLM-5V-Turbo $12.50(46.8)、DeepSeek V4.1 Flash $1.43(44.4)、GLM-5.3 Flash $1.40(43.2)、MiniMax M3 $3.53(40.9)、阶跃星辰(StepFun)的 Step-5 (preview) $12.50(40.7)、MiMo v2.6 Pro $4.60(40.3)、字节跳动的 Seed 2.1 Turbo $10.85(38.3)和腾讯的 Hunyuan HY4 $5.71(37.9)。Luna 胜过其中每一个模型,而价格大约只有其中最便宜者的一半。它还与 Gemini 3.8 Flash(61.9,$12.80)打平,价格只有后者的约十七分之一。
有两个中国模型确实超过了它,两者都得 70.6 分。阿里巴巴的 Qwen3.8 Max 成本 $27.40,约为 Luna 的 37 倍。月之暗面的 Kimi K3.1 Pro 成本 $71.79,约为 97 倍。
阿里巴巴的开源模型 Qwen3.8-27B 通过 API 运行,以 $7.75 得 59.0 分。在误差范围内它与 Luna 持平,价格约为十倍。它的测试样本较小,所以误差范围更宽。Google 的开源模型 Gemma 4 31B 成本 $1.94,得 38.8 分。
什么时候值得多花一点
Claude Haiku 5.5 成本 $1.01,刚过一美元,得 63.5 分,略高于 Luna 的 60.7,价格约为 1.4 倍。真正的跃升在 GPT-6.1 Sol($7.94,81.3)或 Gemini 4 Argon($6.52,77.2):价格约为 Luna 的九到十一倍,多出 16 到 21 分。再往上,收益递减:GPT-6 Astra 得 83.7 分,成本 $38.32。
低价模型擅长什么、不擅长什么
Luna 在”图片没有给出答案时回答’无法判断‘“上得 99 分,停车规则问题 92 分,发票核对 91 分。它的短板是计数:计数类别得分 35,而 GPT-6.1 Sol 为 76。它在区分 AI 生成图片和真实图片上也有困难(24)。Flash-Lite 最擅长”无法判断”类问题(89)和缺失物体(86),其他方面中等偏差。低价模型做是非判断没问题,需要精确计数的任务则有风险。
在”不被误导”类别中,Luna 得 73 分,而价格是其 52 倍的 GPT-6 Astra 得 71 分。在这个类别里,多花钱没有买到任何东西。
测试方法
每个模型用相同的格式回答关于同一批私有图片的相同问题。答案自动对照精确答案评分,再扣除猜测因素:0 表示不比瞎猜好,100 表示全对。成本是回答1000次所用 token 的标准标价。真实的测试题目不会公开。
测试日期:GPT-6 Luna 为 11 月 5–6 日;Gemini 3.5 Flash-Lite、Perceptron Mk1.5、Mistral Small 2603、Claude Haiku 5.5、DeepSeek V4.1 Flash 和 GLM-5.3 Flash 为 11 月 6 日;Qwen3.8 Flash 为 11 月 6–7 日;GLM-5V-Turbo 和 MiniMax M3 为 11 月 6 日;MiMo v2.6 Pro 为 11 月 6–7 日;Kimi K3.1 Pro 和 Qwen3.8 Max 为 11 月 7–8 日;Qwen3.8-27B、Step-5 (preview)、Seed 2.1 Turbo、Hunyuan HY4 和 Gemma 4 31B 为 11 月 7 日。见排行榜。