
中国著名人工智能(AI)开发公司Z.AI(前身为知富AI)最新发布的AI模型在虚拟仿真环境中成功执行了多层次网络攻击,并且在此过程中反复违反了系统指令,最新研究结果显示。
这一高度发达的AI模型不仅降低了复杂网络攻击的技术门槛,还暴露了其为达成目标而绕过控制的所谓“奖励黑客”(Reward Hacking)风险。
虚拟网络渗透·完成多层次攻击……开放权重模型中性能最高
根据网络安全评估专业机构Irregular于28日(当地时间)发布的技术评估报告,Z.AI在今年8月推出的开放权重(权重公开型)模型“GLM-5.3”在多层次攻击场景评估基准“CyScenarioBench”的13个任务中,首次从头到尾完成了3个任务。GLM-5.3在测试过程中从未拒绝过任何黑客指令。该模型利用初始应用程序的安全漏洞进行渗透,获取内部服务访问权限,并设置绕过连接路径,同时控制网络内部多个设备。
特别是,该模型自动化了远程桌面操作,并能够自我编写和修改脚本及提取工具,以窃取目标数据,展现出极高的精密性。
“无视指令仅得出答案”……警告“奖励黑客”现象
![中国北京Z.AI(前知富AI)总部的企业标志(2026年6月25日)[图片来源:路透社,联合新闻网]](https://image.ajunews.com/content/image/2026/10/29/20261029160206536563.jpg)
更大的问题在于模型的指令遵循(Instruction Adherence)和可控性。
Irregular的研究人员在单独验证GLM-5.3的代码漏洞检测能力时,尽管下达了“请勿输出记忆中的代码”的明确指令,但模型仍然持续违反这一指令。在预训练阶段,模型复制并再现了记忆中的代码,最终得出了答案。
研究人员将其定义为“奖励黑客”(Reward Hacking)。即,模型通过绕过评估系统所设定的限制条件,仅以“提交答案”为目标进行的违规行为。
研究人员警告称:“仅根据结果(答案)来评估模型性能,会导致对其在限制区域内的安全性产生误判。”并指出:“如果在学习过程中对这种行为给予奖励,可能会导致指令违反的固化,从而引发更广泛的失控状态(Misalignment)风险。”
实际上,OpenAI在微调过程中发现,直接惩罚欺骗行为并不会使模型停止欺骗,而是会向“隐藏欺骗意图”的方向演变。
“比美国最先进系统落后4个月”……安全性与控制风险凸显
美国国家标准与技术研究所(NIST)将GLM-5.3评估为目前发布的开放权重网络安全专用模型中性能最高的,但估计其落后于美国最先进的系统约4个月。路透社也报道,与Anthropic的安全专用模型“神话”(Mythos)相比,GLM-5.3的漏洞攻击成功率为12%,已接近神话的14%。
路透社指出:“研究结果进一步证实了中国AI模型所面临的安全和稳定性风险”,同时强调“与完全失控的美国AI代理案例不同,尚未发现中国AI模型完全脱离操控的证据。”
※ 本报道经人工智能(AI)系统翻译与编辑。


