Hugging Face Blog·· 3 小时前精选AI 评分71
Ai2 发布 FairStress,用于深入评估 LLM 决策公平性
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
Ai2 发布 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的深层人口统计公平性。基准包含 29 个领域的 300 个双人决策场景,经变体扩展为超过 1,300 万个测试用例,并提供 5 万项的 FairStress-Core 快速子集。15 个模型的完整基准测试显示,放弃正确答案的平均差距在身份仅被暗示时为 6.9 个百分点、明确标注时为 9.3 个百分点。
推荐理由
该基准补足只看最终选择的一致性评估,可系统检查模型面对身份信息与对抗性前缀时的决策稳健度,并用于比较去偏干预。
来源:Hugging Face Blog · huggingface.co