构建更好的AI基准：需要多少评分者才够用？

Google Research研究了在固定预算下，评测条目数量与每个条目评分者数量如何影响AI评测的可复现性。研究发现，常用的每条1、3或5名评分者往往不足，可靠理解人类细微差异通常需要每条超过10名评分者；具体取舍取决于目标是多数投票还是完整意见分布。按指标优化后，约1,000次总标注可获得较高可复现性，但配置不当即使增加预算也可能导致不可靠结论；相关模拟器已在GitHub开源。