Hugging Face Blog·· 4 小时前精选AI 评分67
AllenAI 发布 StateBench：四级基准测语言模型长文档状态追踪能力
StateBench: Testing how language models track state changes over long documents
AI 导读
AllenAI 在 Hugging Face 博客介绍 StateBench，一个衡量语言模型在长文档中追踪实体状态变化的基准，按复杂度分 r-trivial、aperiodic、soluble、general finite 四级，层级依据 Krohn–Rhodes 理论。
推荐理由
AllenAI 与 Hugging Face 联合发布的四级状态追踪基准，把架构差异与训练数据差异区分开，对长上下文模型与循环架构研究者有直接的方法论参考价值。
来源：Hugging Face Blog · huggingface.co