人工智能公司 Anthropic 开发出价值判断微调语言模型

据 Cointelegraph 报道，人工智能（AI）公司 Anthropic 已开发出一种大型语言模型（LLM），该模型已根据其用户社区的价值判断进行了微调。这项开发旨在让人工智能更加民主，让用户能够决定人工智能模型的价值调整。Anthropic与波利斯（Polis）和集体智能项目（Collective Intelligence Project）合作，开展了一项名为 "集体宪法人工智能"（Collective Constitutional AI）的实验，涉及1000名不同人群的用户，他们通过投票回答了一系列问题。Anthropic使用一种名为 "宪法人工智能 "的方法来调整LLM的安全性和实用性。这包括给模型列出一系列它必须遵守的规则，然后训练它在整个过程中执行这些规则，类似于许多国家将宪法作为治理的核心文件。在集体宪法人工智能实验中，Anthropic 尝试将基于群体的反馈整合到模型的宪法中。根据Anthropic的一篇博文，实验结果似乎取得了科学上的成功，因为它揭示了实现让LLM产品的用户决定其集体价值观这一目标所面临的进一步挑战。团队必须克服的困难之一是为基准测试过程提出一种新颖的方法，因为目前还没有一种成熟的测试方法可以将基础模型与使用人群来源值进行调整的模型进行比较。采用用户投票反馈数据的模型在偏差输出方面略胜于基础模型。