跳到正文
Microsoft 开发者博客· Waldek Mastykarz·· 2 小时前精选AI 评分67

Microsoft 实测:工作区路径中的 eval 字样不会改变智能体行为

Does ‘eval’ in the workspace path change what your agent does?

AI 导读

Microsoft 开发者团队通过约900次运行、四个模型的对照实验,检验工作区路径中的 eval 字样是否影响 AI 智能体行为。结果显示路径名让所有模型更怀疑自己在被测试,但六种场景中均无显著行为差异;作者建议评测工具无需重建,但仍宜用中性文件夹名,因为路径名会影响智能体对自身处境的判断。

推荐理由

以约900次运行实测工作区路径中的eval字样对智能体行为的影响,方法上区分了感知与行为、预设判据并扩大样本,结论对搭建智能体评测框架的团队有直接参考价值。

来源:Microsoft 开发者博客 · devblogs.microsoft.com