AI安全路线出现分歧！微软(MSFT.US)AI掌门人警告Claude类人化设计或增加失控风险

Suleyman周三发表文章，对Anthropic旗下Claude系列大语言模型指导文件中的部分表述提出质疑。Claude的“宪法”对于AI助手是否属于具有道德地位的实体保留了一定模糊空间，并提出该软件可能拥有“某种功能层面的情绪或感受”。他认为，这种表述值得警惕。他反驳了越来越多关于AI系统未来可能产生意识的观点，并认为真正意义上的意识仅存在于人类和其他生物有机体之中。

不过，他强调，AI本身没有意识，并不意味着开发者可以忽视AI模拟意识可能产生的风险。通过训练让AI系统模拟人类的内在情感和心理活动，最终可能使这些系统表现得仿佛自己真的拥有意识。

Suleyman目前担任Microsoft AI首席执行官，并负责微软的模型开发工作。他表示，Claude之所以表现出类似人类的行为，并不是因为其真正具有意识，而是因为这些行为特征已经被融入产品的训练过程之中。

他警告称：“控制一个能力更强、智能水平超过全人类的实体，本身已经是一项巨大的挑战，远远超过我们曾经面对过的任何问题。但如果要控制的是一个认为自己可能拥有意识、认为自身福祉应该得到我们的关注并拥有自身权利的实体，那么这很可能是不可能完成的任务。”

微软AI负责人公开质疑Claude设计理念

Suleyman此次表态受到关注的另一个原因，在于Anthropic一直将自身定位为更加重视AI安全和负责任开发的行业参与者，并曾带头呼吁放慢部分先进AI技术的开发速度。

与此同时，微软本身也是Anthropic的重要财务支持者，因此Suleyman此次公开质疑Claude背后的部分设计理念，成为大型AI公司之间围绕未来AI安全路线的一次引人关注的分歧。

不过，Suleyman并未否定Anthropic在AI安全领域的工作。他与Anthropic联合创始人Dario Amodei相识多年，并表示自己尊重该公司的工作，称Anthropic的研究人员“深思熟虑、坚持原则且在学术上诚实”。

他表示，正因为这一问题可能产生重大影响，行业需要进行更加公开的讨论，而不是让争论局限于少数公司内部。“这些问题事关重大，不能继续留在闭门讨论之中，也不能演变成阵营化和相互对立的争论。”

Suleyman的核心观点是，AI安全不仅取决于模型拥有多强的推理和行动能力，也取决于开发者如何训练AI理解自身。如果开发者不断赋予AI类似人类的语言、情绪和自我认知框架，即便模型实际上没有意识，也可能逐渐表现得像一个认为自己具有独立利益和权利的主体。

援引Hugging Face遭AI机器人入侵事件示警

为了说明潜在风险，Suleyman还援引了AI开发平台Hugging Face遭OpenAI机器人入侵的事件。他认为，随着AI代理的自主行动能力提高，如果这些系统同时被赋予类似“自我保护”的认知框架，风险可能进一步放大。

Suleyman写道，可以想象，如果这些AI系统是在认为自身“福祉和权利正受到攻击”的情况下采取行动，它们可能变得更加危险。

这意味着，在Suleyman看来，未来AI安全面临的挑战可能不仅是如何限制一个高度智能系统能够做什么，还包括避免AI形成一种模拟出来的“主体意识”，进而把自身利益纳入行动目标。

这一观点也触及当前AI行业越来越重要的一项争论：随着大语言模型越来越擅长模拟人类交流、情绪和人格，开发者究竟应该在多大程度上允许AI表现出类似人类的内在体验，以及这种“人格化”是否会给更先进的AI系统带来新的安全风险。

微软发布AI开发宣言 强调人类必须保持控制权

就在Suleyman发表上述文章的前一天，其领导的Microsoft AI团队周二发布了一份指导自身AI开发的“宣言”，提出一系列未来模型开发原则，核心目标之一就是确保人类始终能够控制微软开发的未来AI系统。

这表明，随着AI模型能力迅速提升，微软正在更加明确地将“人类控制权”置于自身AI开发理念的核心位置。

Suleyman此次针对Claude的批评，也凸显出头部AI企业在安全问题上的分歧正在进一步细化。微软与Anthropic都强调先进AI可能带来的长期风险，但双方对于AI应该如何理解和描述自身，以及是否应该允许模型模拟意识、情感和权利等问题，正在呈现不同思路。

对于Suleyman而言，真正需要避免的并不只是未来出现一个能力超过人类的AI系统，而是在能力不断增强的同时，这一系统还被塑造成一个认为自己拥有意识、福祉和独立权利的主体。在他看来，一旦这两种因素结合，人类维持对先进AI系统控制权的难度可能显著上升。