InfoQ· Pushpdeep Mishra, Wejdan Bagais·· 3 小时前AI 评分74
实测六层 LLM 可靠性层:能排序答案却几乎不能纠错
Article: LLM Reliability Layers Under Test: Accuracy, Yield, and the Limits of Verification
AI 导读
两位作者在 CADEC 不良反应标注语料上端到端实测词表校验、自我纠错、投票、二模型评审、拒绝放行与人工复核六层可靠性机制,发现各层只能按可信度排序和扣留答案,几乎不修正错误,且检测上限封死了整体收益。文中报告识别优于生成、温零下四款模型输出逐字节一致、gpt-oss:20b 存在跨次波动等结果,并总结六条可迁移实践与开源的 stagecheck 等检查工具。
来源:InfoQ · infoq.com