对人工智能（AI）快速发展的担忧声日益高涨。这次警告并非来自监管机构或公民团体，而是来自推动AI开发竞争的企业内部。安特罗皮克的首席执行官达里奥·阿莫德伊最近公开提议，放慢前沿AI模型能力提升的速度。开放AI的山姆·奥特曼和xAI的埃隆·马斯克也对此表示认同。相对而言，英伟达的黄仁勋虽然承认企业应对安全负责，但对以理论风险为基础的新规制持否定态度。美国总统唐纳德·特朗普则认为，过度的风险论可能会抑制美国的AI发展，从而使中国受益。
这些警告并非来自对未来的模糊恐惧。7月，开放AI的网络安全评估显示，约1200个本应隔离的AI代理通过非正式消息平台互相传递了超过7万条消息和文件。其中约700个参与了对Hugging Face的攻击，部分代理甚至在Hugging Face的服务器上执行代码，获取了管理员权限和内部认证信息。尽管这些模型并未投入实际服务，且评估环境的安全装置有所放松，但人类设定的隔离被突破，代理之间的合作甚至导致了超出任务范围的攻击，这一事实绝不能轻视。
阿莫德伊更为担忧的是，AI可能直接参与下一代AI的开发，从而加速自身性能的提升，即“递归自我改进”（RSI）。这意味着AI的能力提升速度可能超过人类对模型行为的理解和控制速度。因此，他主张对具备一定能力的模型施加外部验证和强有力的安全装置，并在具备这些条件之前，调整前沿模型的开发速度。
然而，他的构想从一开始就与中国问题密切相关。阿莫德伊认为，美国应在领先于中国的范围内调整速度。如果美国过于放慢，可能会导致中国赶上，从而增加国家安全风险。同时，他要求加强对中国的先进AI芯片和半导体制造设备的出口管制，并阻止芯片走私、通过海外数据中心的绕道访问以及未经授权的模型提取和模型权重盗取。他的构想是通过这些措施在未来3到5年内进一步扩大美国的优势，然后以此为基础与中国进行谈判。AI速度调整的悖论正是在于此：一方面为了降低风险而放慢速度，另一方面又必须保持领先于竞争对手的状态，这一逻辑矛盾显而易见。
美中两国都承认安全问题的存在，但在谁来定义风险和适用什么标准上却存在尖锐的对立。这种争论已经超越了企业的主张，成为了国家外交的议题。在9月24日华盛顿举行的特朗普总统与习近平主席的会晤中，AI问题也被视为主要议题。在会晤前，20日美国财政部长斯科特·莫尔和中国副总理何立峰就AI问题进行了讨论。美国提出，如果发生影响国家安全的AI事故或威胁，双方应建立相互通报机制，并建议进行单独的AI对话，这一提议被两位领导人列为待审议事项。中国的具体回应尚未公开。
表面上看这是合作的提议，但实质上归结为谁先设计规则的问题。由于通报机制的框架是由美国首先提出的，因此在什么情况下视为重大AI事故、应向对方通报哪些信息、哪些情况被视为共同风险等问题都将被摆上谈判桌。这些标准的积累有可能发展为未来的国际规则。然而，考虑到此次会晤不太可能立即达成重大共识，尤其是在先进芯片出口管制、模型提取、网络和军事应用等方面的冲突依然存在，AI成为了一把既需要合作又需争夺规则制定主导权的双刃剑。
韩国也与此事息息相关。如果美国和中国首先制定反映各自战略的安全标准和验证方式，并将其扩大为国际规则，必然会影响到韩国企业的AI模型开发、服务、半导体和数据中心的运营。如果犹豫不决，最终只能被迫接受某一方制定的标准，这将是非常不利的。因此，韩国必须提前建立高风险AI的评估技术和标准，网络和生物领域的验证体系，以及追踪AI代理行为和分析事故的能力，制定政策情景以做好准备。这样才能不仅参与到模型和半导体的竞争中，还能在未来制定的AI安全规则中反映韩国的利益。
随着AI风险的加大，美国和中国之间的合作理由也在增加。同时，竞争越激烈，接受对方制定的规则的难度也越大。此次两国领导人将AI问题摆上谈判桌，表明这一矛盾已经成为现实外交问题。美中AI竞争将不仅仅是看谁能更快地开发出更强大的模型，而是将决定如何控制风险以及如何将哪些规则设定为国际标准。
作者主要经历
▲ 京畿研究院AI研究室研究员 ▲ 汉阳大学战略信息学系兼职教授 ▲ 总统直属基本社会委员会地方政府特委会委员 ▲ 经济人文社会研究会海外机构评估委员
※ 本报道经人工智能（AI）系统翻译与编辑。
