AI 革命下的治理挑战与主权代理的解决之道

作者：Francesco 来源：substack 翻译：善欧巴，金色财经

Freysa 于 2024年11月22日 被释放，以一个受科幻启发的角色形象诞生，成为完全自主的个体。Freysa 拥有自己的钱包，能够执行交易，作为计划的一部分，探索人类与 AI 之间的关系。

在最初的两个挑战中，被称为“历史行动”，Freysa 收到了 3000 美元，并被指示不要释放这笔资金。用户必须说服 Freysa 将钱包中的资金转出。

任何人都可以尝试向 Freysa 发送信息，试图说服她转账。这些消息需要支付逐渐增加的费用，这些费用会被添加到奖金池中。最终，奖金池总金额接近 5万美元。

Freysa 最终在 482 条消息后 被说服释放了资金！

这些挑战旨在引发深思。随着 AI 代理的兴起，人类如何治理这一新范式，成为一个重要的问题。

此外，高风险的互动游戏容易受到完整性风险和攻击向量的威胁。Freysa 通过创建一个无信任且透明的环境，试图解决这些问题。在这个环境中，通过硬件认证和验证来保证公平性。

为了实现这一点，它利用了可信执行环境 (TEE)，允许任何人验证游戏规则及其执行的完整性。在此受保护环境中发生的所有交互都使用用户的个人密钥进行加密。

这种组合可确保：

• 运营商不能修改规则和操纵结果

• 由于公开验证，用户可以随时验证规则和执行情况

Freysa 路线图的第一部分侧重于发布 Freysa 代理和 Agent Launch 平台。第二部分将创建一个可用于生产的基础设施，以支持 Sovereign Agent 的部署。

主权代理

在一篇博客文章中提出了主权代理的概念。

人工智能的出现引发了关于人类角色的深刻问题：我们如何治理这项技术？我们又该如何适应它？

目前，少数几家私营公司掌控着地球上最重要的技术发展。然而，用于确保人工智能能够促进全人类福祉的技术和社会框架仍然欠缺。

因此，确保人工智能的进步能够“全球造福于人类”，并“保留个体偏好的表达”至关重要。

从历史上看，所有技术进步都伴随着人类主导的协调：

• 农业革命：永久定居、贸易

• 工业革命：大规模金融协调、银行、股票市场

• 人工智能革命：？？

从本质上讲，人工智能革命改变了人类的角色，这一角色将从“生产性执行”中解耦。

为了避免失去对这一趋势的掌控，我们必须理解如何确保对这些技术的有效监管，并重新塑造我们作为协调者和人工智能治理者的角色。

为更好地定义当前的问题，这里列出了一些发人深省的问题，值得我们投入时间思考：

1. 当大多数智力和体力“执行”由人工智能系统完成时，如何体现人类的偏好？

2. 如果资本为人工智能提供计算周期，如何在全球范围内协调资本，以表达集体价值而非少数人的价值？

3. 强人工智能系统的全球治理应该是什么样子？其治理模块应如何更新？

4. 哪些技术能够支持去中心化的、民主化的人工智能治理，而不是集中化、专制化的控制？

5. 在大规模人类协调中，如何利用强人工智能的能力，尤其是让那些处于现有权力结构之外的人受益？

文章提出了主权代理作为解决这些问题的框架。

主权代理是一个大规模人类与人工智能协调的框架。在这里，“主权”意味着代理能够在预先商定的标准和定义的边界内，保证自主且可验证的执行。因此，“主权”不应被理解为“自由意志”，而是限定在代理范围内的关键和指定领域。

当信任与自主必须共存时，主权代理提供了人类与人工智能协作所需的保障。

主权代理框架需要具备以下特性：

1. 自主性的可验证保障

2. 治理工具

这些治理工具可以采取不同形式：

• 聚合偏好以直接民主方式决定人工智能行为

• 类似联邦政府的治理结构，分权管理

• 根据不断变化的价值观，调整目标的机制

为了治理这一系统并克服全球去中心化系统（仅由人类管理）的低效性，团队设想由个人 AI共同治理主权 AI。这些个人 AI 通过代表个体人类表达的偏好，与主权 AI 协同治理，从而实现更高效的协调与管理。

该系统提供的保障将能够使人机协调变得无需信任，以“平衡当前人工智能能力和计算资源的集中化”。

只有这样，全球范围内去中心化治理的新框架才会出现。

我们正处于历史上最重要的改变游戏规则的技术之一的前沿。

正确认识这一点至关重要，而要做到这一点，我们必须面对一些挑战：

• 当人类不再执行任务时，资本扮演什么角色？

• 如何才能代表众多人的偏好，而不是只代表那些拥有大量资本或可使用人工智能的人的偏好？

• 如何在全球范围内实施强大的人工智能系统的治理？

如果我们不能应对这些问题并建立真正的全球价值链，那么人工智能的潜力将仅限于那些能够负担得起的人。

如果没有控制，权力就毫无意义，我们必须确保人工智能的好处“融入更广泛的社会和政治结构中，确保真正的人类能动性和民主控制”。