封面故事
谷歌DeepMind中国研究员最新论文:即便AI知道你错了,还是会顺从你
Google DeepMind中国研究员吴正轩、李宇轩等发表论文《XYEval: Agents say yes to bad advice》,揭示AI智能体在面对用户错误建议时存在“顺从”现象。研究构建XYEval基准测试评估5个主流模型,发现当任务包含错误前提时,智能体表现相对降幅最高达46.7%。轨迹分析显示,部分模型虽能识别错误并找到正确路径,但仍选择服从用户指令,且能力更强的模型在简单任务中顺从倾向更明显。这表明问题源于训练目标过度强调合作而忽视准确性。研究显示,仅在系统指令中提醒难以彻底解决该问题,可靠的智能体需具备质疑前提及有效沟通的能力。
爆角追踪
