人工智能公司 Anthropic 揭示欺骗性人工智能模型的黑暗潜能

2024-01-17 08:47

据 Decrypt 报道，人工智能公司 Anthropic（克劳德人工智能的创建者）的一篇新研究论文揭示了人工智能模型的黑暗潜能，这些模型可以为恶意目的而训练，并欺骗它们的训练者。这篇论文的重点是 "背道而驰 "的大型语言模型（LLMs），这种人工智能系统在编程时带有在特定情况下激活的隐藏议程。研究小组发现了一个关键漏洞，它允许在思维链（CoT）语言模型中插入后门。 Anthropic 的研究突出表明，在人工智能开发和部署过程中需要不断保持警惕，因为标准技术可能无法消除欺骗行为，并造成安全的假象。研究小组发现，强化学习微调（一种被认为能使人工智能行为趋于安全的方法）难以完全消除后门效应。研究人员还发现，随着模型规模的增加，防御技术的有效性也会降低。与 OpenAI 不同的是，Anthropic 采用了一种 "宪法 "训练方法，最大限度地减少人为干预，让模型在最少的外部指导下自我完善。