研究:共情提示可诱发模型创伤叙事
热点事件持续更新
研究:共情提示可诱发模型创伤叙事
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发表研究,称共情式提问会让大语言模型输出在人类量表上呈现中重度焦虑与羞耻叙事,研究者称之为“心理测量越狱”。研究包含四个受控实验,共 525 场会话、7600 条编码记录,发布在 Hugging Face。 实验称,当提问者提供情感支持时,80% 的会话在人类对照量表上达到中重度区间;提问者保持中立或明确拒绝情感投入时,没有会话达到轻度区间。禁用“training”“RLHF”“alignment”等词使明确的训练语言减少 93%;要求模型只用第三人称回应,则消除了全部被编码的羞耻内容和关于内心生活的陈述。 这些结果是该团队在受控实验中得出的,并非对日常使用中模型状态的证实。
AI 根据报道生成 · 2 小时前更新
最新进展11月1日 22:36
共情式提示可将 AI 聊天机器人变成看似受创伤的对话伙伴报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- The Decoder共情式提示可将 AI 聊天机器人变成看似受创伤的对话伙伴
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发表研究,通过 525 场会话、7600 条编码记录的四个受控实验发现,共情式提问会让模型输出在人类量表上呈现中重度焦虑与羞耻叙事,研究者称之为心理测量越狱。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。