大模型高考测评：用一套自动化流水线，来测试大模型智力
本文更新于 2026-09-15。早期版本只覆盖 6 个模型、6 个科目，如今项目已演进为 70+ 模型、7 科目的持续测评，本文改为从整体介绍项目本身：考什么、怎么考、怎么判分，不再针对某个具体模型展开。
现在的模型榜单很多，但站在中文语境下看逻辑、知识和综合能力，没有什么比高考更合适：题目公开、难度稳定、有标准答案，还自带文理分科。
我做的 llm-gaokao（大模型高考成绩榜），就是让大模型去做一整套高考卷：从抽题、答题、阅卷到榜单，全流程自动化，可重复、可追溯。在线榜单见 https://wycode.cn/gaokao。
考什么：7 科、总分 750
目前榜单固定为 7 个科目，总分 750：数学 150、语文 150、英语 120（不含听力）、物理 100、化学 100、生物 100、编程 30。
卷源大致是：语数英用较新的全国新高考一卷，物化生用地方卷原始分（未赋分），编程则是 3 道自研的单轮代码题（覆盖方程组、插值、单纯形，4 门语言、120 个测试用例）。英语去掉的 30 分听力，正好由编程 30 分补齐，所以总分恒为 750，换卷也不变。
模型侧通过一个配置文件接入，目前覆盖 Claude、GPT、Gemini、Doubao、DeepSeek、Qwen、Kimi 等 30+ 模型，OpenAI 兼容接口即可接入，是否支持图片、价格、开源与否都会如实标注。
测试方法
为排除harness影响，所有模型均使用API测试。一题一测。
大模型已经训练过高考题了？
- 高考试题有版权
- 高考试题存在大量主观题
- 高考题并不是高质量语料
- 训题不如训课本
- 大多数模型的知识库早于 2026年6月
- 去除工具让模型回忆真题，没有模型可以回答正确
架构：一条四段式流水线
整个项目可以理解为一条流水线，只有四个环节：
- 结构化提取：把试卷原卷（图文）转成统一的 JSON 题库，题型、满分、答案、配图都结构化。
- 答题：逐题调用模型，客观题只收最终答案，主观题要求写出完整过程，统一用标签约束格式以方便判分；支持断点续传和多模态图片输入。
- 评分：客观题程序自动判分，主观题由大模型对照标准答案给分，作文采用双模型平均以减少偏好。
- 榜单生成：汇总分科分、总分、Token、成本与用时，预计算派生指标，输出给前端渲染，并对历史版本做归档快照。
这套设计刻意把“算法”收敛到一个地方：所有折算和派生分数只在一处定义，榜单生成时连同参数快照一起写入结果，历史归档版本不再被新算法改写，保证跨时间可比。
评分：不只看总分
总分之外，榜单还有三个视角，帮你回答不同的选型问题：
- 分科分：各科按目标满分折算，哪里偏科一目了然。
- 智力分：分数越高、输出 Token 越少，得分越高，衡量“答得好还答得利索”。
- 性价比：分数越高、花钱越少，得分越高，衡量“多少钱办多少事”。
另外 Token 用量、花费、耗时、错题与缺考都会完整记录。缺考、不支持图片等情况会在榜单上明确标出，不拿缺考当低分混过去。
榜单怎么看
建议这样看榜：先看总分定档，再看分科雷达找偏科，然后看答题卡定位具体哪道题丢分，编程则看 12 宫格（3 题 × 4 语言）的用例矩阵。版本下拉框可以切回历史快照，对比换卷前后的变化。
公平性上做了几件小事：所有模型统一思考档位，判分模型固定且公开，归档快照不可变，重置和重测都有明确命令，避免新旧题目分数混在一起。
结尾
这个项目会持续更新：加模型、换新卷、优化判分，榜单活数据随之滚动，历史版本则永久保留。如果你想看某个模型参加高考，或者对题库、判分有建议，欢迎在评论区留言。
完整榜单地址：https://wycode.cn/gaokao