一道新出的考题到底有多难？传统做法是找一批考生先试做一遍，根据正确率来标定——可靠，但又贵又慢。最近，来自弗吉尼亚理工大学、马里兰大学、MBZUAI 和匹兹堡大学的研究团队给出了另一条路：不看考生，看大模型解题的过程。他们提出的框架叫 Epi2Diff，在 SAT 数学难度分类上做到了 73.0% 的准确率，比最强基线高出 3.2 个百分点，论文已被机器学习期刊 TMLR 接收。

思路：模型怎么解题，透露了题有多难

只看题干文字，很难判断解题过程中到底哪里费劲。Epi2Diff 的做法是把观察窗口延伸到解题过程本身：让大模型去解题，把生成的推理轨迹拆成一句一句的「认知片段」，再统计这些片段的行为模式。

具体来说，研究团队借鉴了 Schoenfeld 的解题片段理论，把推理句子归为八类：阅读、分析、计划、执行、探索、验证、监控和作答。然后从轨迹中提取 83 维特征，包括长度统计、八类片段的词元数和占比，以及 64 种相邻片段之间的转移次数——比如一条轨迹是先集中分析再连续执行，另一条在分析和执行之间来回切换，转移特征就能把这种顺序差异留下来。

实验中用 QwQ-32B 和 Qwen3-32B 生成轨迹，再把这些过程特征和 Sentence-BERT 编码的题目语义向量拼接，最终用 XGBoost 预测人类标注的难度等级。需要说明的是，模型轨迹只是可以规模化获取的「代理证据」，预测的仍然是人类题目难度，不是直接测量人类认知。

结果：四个真实考试数据集上全部第一

评估覆盖四个真实测评数据集：1075 道 SAT 数学题、1338 道 SAT 阅读与写作题、793 道 Cambridge 英语阅读题和 667 道 USMLE 医学题，基线包括 BERT 类小模型微调、LLM 零样本和少样本提示，以及全参数和 LoRA 微调。

• SAT 数学：准确率从最强基线的 69.8% 提升到 73.0%，宏平均 F1 从 0.705 升至 0.728，提升最明显；
• SAT 阅读与写作：准确率从 62.3% 升至 63.1%，提升较小，且领先幅度小于多次运行的波动，研究团队自己也提醒要谨慎解读；
• 回归任务：Cambridge 的 RMSE 从 8.200 降到 7.612，USMLE 从 0.298 降到 0.291。

消融实验还有一个有意思的发现：并不是推理越长题目就越难。只用题目语义时宏平均 F1 是 0.607，加入长度特征后到 0.671，而使用完整特征能达到 0.728；反过来，即使保留其他特征、只去掉片段转移信息，也会掉到 0.676。这说明「解题过程怎么展开」本身携带了预测信息。在 SAT 数学里，较难的题确实伴随更多中间推演和更高的执行投入，但研究团队强调这只是过程关联，不能当作因果证明。

对普通用户有什么用

这项研究最直接的受益者是题库建设和组卷场景：新题入库前可以先用模型轨迹做一轮难度预评估，给人工审题提供可解释的辅助线索，省下一部分预试成本。往远了看，这种「从 AI 解题行为反推任务难度」的思路，也可能用到其他需要给任务分级的场景，比如编程题、面试题的难度标注。

当然，距离实际落地还有门槛：需要带标签的数据训练、针对目标人群的验证，以及专家复核。它的定位不是取代教育测量，而是给难度判断多一组来自推理过程的证据。更多 AI 工具与教程见 AI 智库。