BenchMIRT：LLM基准实际测量了哪些能力？

AllenAI推出BenchMIRT，以多维项目反应理论分析LLM基准中每道题背后的能力信号。它使用100个LLM、16个基准和超过34K道题训练，独立识别出安全与通用推理两个主要维度；保留10%题目通常仍能呈现相近能力图景，预测未见题答案的准确率为79%，高于简单方法的70%。分析未涵盖2025年3月后发布的模型，且筛选高信息量题目可能削弱安全评测。