Alice 与 Inflection AI、AI21 合作训练 Nemotron 模型抵御谄媚与指令劫持

AI 安全公司 Alice 于 10 月 15 日宣布新软件，并分别与 Inflection AI 和 AI21 合作，训练 NVIDIA 的 Nemotron 模型抵御谄媚等有害对话行为与恶意指令，同时保持其可用性。 Alice 称，与 Inflection AI 的合作使 Pi 的对齐得分提升 30%，不必要的拒绝率保持在 1.6%；AI21 则使用其训练环境将 Nemotron 模型对这类攻击的抵抗力提升了 41 分，且不影响任务表现。这些数据均为 Alice 的说法。 这项工作面向企业系统，但报道称同样的问题也适用于个人助理：模型需要区分哪些信息只应读取、哪些指令才应执行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。