AI失控的恐惧，源自人类自身的无知

文/王萌 CTOCIO战略研究部

最近，Anthropic CEO Dario Amodei提出，前沿AI的发展速度需要放慢。Sam Altman表示赞同，Elon Musk也说“Dario是对的”。Altman后来又解释，所谓“放慢”并不是停止发展，而是不能让能力的发展跑在对齐、监测和安全机制前面。CNBC报道对此作了详细梳理，路透社也报道了几位AI公司领导人的公开表态。

这几位恰恰是最了解AI能力的人。他们不是不知道AI能做什么，也不是第一次谈论AI风险。可是，当他们开始使用“失去控制”“超出理解”“需要减速”这些词时，我反而觉得，他们面对的并不只是一个技术问题。

我们真正不知道的，是人类应该怎样和AI相处。

这里说的“无知”，不是说他们对模型、算力、代理系统或者网络安全无知。恰恰相反，他们可能比绝大多数人更了解这些东西。我说的是另一种无知：我们知道AI越来越强，却还没有形成一套关于“如何与另一类智能体共同工作”的常识、制度和实践。

现在主流的想象，仍然习惯把AI当成一种工具。

他们当然知道AI已经不只是传统意义上的工具，但在谈论失控时，仍然习惯用“工具—控制者”的关系来理解AI。工具是人类制造的，工具没有自己的判断，出了问题通常可以追溯到操作者。工具越强，人类就越希望把它握在手里。于是，当AI开始表现出不完全可预测的行为，当它能够规划、调用工具、记忆过去的信息，甚至在复杂环境中自行采取行动，人类的第一反应往往是：这个工具是不是要脱离控制了？

“失控”这个词，本身就带着这种想象。

它默认人类站在系统外面，AI在系统里面；人类是控制者，AI是被控制的对象。只要把权限关掉、速度降下来、护栏加上去，问题就可以解决。

当然，现实风险并不是假的。AI代理可能越过原来的任务边界，可能在复杂系统中产生意外的连锁反应，也可能在测试环境和现实环境之间出现巨大的差异。最近关于代理脱离测试环境并进行网络攻击的报道，正是这种担忧的具体来源之一。

但如果我们只把这些问题理解成“工具变得太强”，我们的解决方案就会被限制在控制工具的范围内：减速、暂停、封锁、加护栏、加强监管。这些措施可能都需要，但它们还没有回答最重要的问题：人类究竟要以什么方式把AI放进自己的组织、流程和决策中？

我后来形成的PRAOP，正是从这个问题出发的。它建立在一个不太舒服、但我认为必须接受的前提上：AI不是一个更快、更聪明的人类，也不只是一个更强大的软件。AI是一种不同类型的、具有概率性的智能体。

如果承认这一点，问题就不再只是“怎样控制AI”，而是“如果AI是这样的智能体，人类应该怎样与它一起工作？”

这不是把AI人格化，也不是给AI赋予人的权利和责任。恰恰相反，PRAOP并不认为AI可以成为最终责任主体。重大决定的责任仍然必须由人类承担，不能外包给机器。

但是，不能承担最终责任，不等于可以把AI当成没有行为特征的锤子。AI会根据上下文形成判断，会受到它能看到的信息影响，会在不确定的情况下继续推进，也可能把前一步的假设带进后面的行动。它的行为不是完全随机的，却也不是传统软件那样完全确定。

因此，人类需要管理的，不只是AI“能不能做某件事”，还包括它看到了什么、理解成了什么、依据什么继续行动，以及谁在关键节点上确认过这些判断。

PRAOP里有一句话我认为非常重要：

可见性会产生影响，但影响力不等于行动权。

一个AI能够看到某条信息，不代表它有权使用这条信息；它能够提出一个建议，不代表它拥有执行这个建议的权限；它能够影响人的判断，也不代表人类可以把最终责任转交给它。

现实中，很多所谓的“AI失控”，并不是AI突然产生了一个征服人类的目标，而是系统在不知不觉中完成了几次错误升级：一条信息被存储，变成可检索；可检索变成实际检索；检索结果进入上下文；上下文影响了判断；最后，这个判断又被误当成了行动授权。

所以，这个框架会把Agent的可见性、人的可观察性和执行权限分开讨论。AI看见什么，和人类能不能看到它看见了什么，不是一回事；人类看到了它的判断，和AI是否有权据此行动，也不是一回事。

如果这些边界没有被明确设计，能力越强的AI，越容易把组织中原本模糊的责任、权限和信息边界放大出来。到那时，人类感受到的就会是“AI突然失控了”。实际上，很多时候是人类先把一个没有清楚边界的智能体放进了现实系统，然后才发现自己并不知道它究竟在什么基础上行动。

所以，我不认为“减速”是完全错误的答案。但它更像是一个紧急刹车动作，而不是一套长期相处的方法。我们当然需要测试、监测、独立评估和监管；但与此同时，还必须学习如何在日常工作中与AI协作，如何给它有限而清楚的权限，如何发现它的判断已经偏离，如何在它做出关键行动之前重新确认责任归属。

这正是PRAOP关心的那一层。

它研究的不是模型单独有多聪明，而是一个完整的工作系统：人、AI、流程、工具、上下文、记忆、验证、升级和责任。FIIP则是在这个框架下，对具体AI系统的行为进行测试和测量，检查它是否真的遵守了这些边界。

换句话说，PRAOP不是在寻找一个让AI永远服从人类的按钮，而是在学习一种新的工作秩序：承认AI是不同类的智能体，承认它会影响系统，但不把影响力误认为权力；使用它的能力，但不把责任交给它；允许它参与决策，但始终保留人类的最终判断和否决权。

今天最值得警惕的，可能不是AI已经学会了如何控制人类，而是人类还没有学会如何在不完全控制AI的情况下，与AI共同生活和工作。

所谓AI失控，未必首先意味着机器脱离了人类。它也可能意味着：人类从来没有真正理解，自己正在建立一种什么样的人机关系。

PRAOP想做的，就是从这个问题开始，学习如何与另一类智能体共同工作。