专业榜单怎么看，又有哪些坑

专业榜单（benchmark）是用一套固定的题目或规则给模型打分。它们很有参考价值，但普通人直接看分数很容易被误导。

常见的几类榜单

类型	怎么测	代表
题库考试	让模型做一套有标准答案的题，比如数学、知识问答、编程题	各种学科测试、编程题库
真实任务	让模型在真实代码仓库里修 bug 或完成任务	SWE-bench 等
人类投票	两个匿名模型回答同一问题，让用户选哪个更好	LMArena 等
综合指数	把多个测试结果加权汇总成一个分数，有的还加上价格和速度	Artificial Analysis 等

为什么分数高不等于好用

1. 刷榜

榜单越有名，厂商越有动力专门针对它优化。题目如果泄露到训练数据里，模型就像「提前看过考卷」，分数会虚高。这也是很多人觉得「榜单第一，用起来一般」的原因。

2. 测的不是你要做的事

一个模型数学竞赛题拿高分，不代表它写中文公众号文章好；编程题库分数高，也不代表它能看懂你公司那个十年老项目。

3. 测试条件和你不一样

同一个模型，开不开「深度思考」、思考预算给多少、用什么工具和提示词，分数可以差很多。榜单上的分数往往是在最理想的设置下测的，而你在产品里用的可能是默认设置。

编程类测试还有一个特别的问题：测的是「模型 + 测试用的 Harness」。换一个 Harness，同一个模型的分数也会变。

4. 人类投票有偏好

投票类榜单里，用户容易偏爱回答更长、格式更漂亮、语气更讨喜的模型，而不一定是更正确的那个。

5. 不看价格和速度

很多榜单只排能力。实际使用时，一个能力略低但便宜十倍、快三倍的模型，可能才是更好的选择。

怎么正确使用榜单

• 看具体测试项，别只看总分。你关心编程就看编程相关的测试，关心写作就看写作相关的。
• 对比同一套测试里的相对位置，不要跨榜单比较分数。
• 注意测试时间。模型更新很快，三个月前的榜单可能已经过时。
• 榜单用来缩小范围，最后靠自己试。挑出两三个候选，用你自己的真实任务试一下。

本站和专业榜单的区别

本站的分数来自真实用户的主观评价，按维度拆开。它的优点是贴近日常使用体验，缺点是不够客观、样本可能不多。

所以最好的方式是两者结合：用专业榜单了解模型的能力上限，用用户口碑了解实际体验，再用自己的任务做最终判断。我们的计分方法写在关于页面。