韩国科学技术院(KAIST)的研究团队开发了一种新的安全性验证技术，能够比以往更全面地发现人工智能(AI)的隐性漏洞，效率提高了约7倍。
KAIST于30日宣布，由电气与电子工程系教授金俊模领导的研究团队，改进了大型语言模型(LLM)安全性验证的红队技术，开发了新的框架“稳定-生成流网络(Stable-GFlowNet)”。
现有的红队技术基于强化学习，虽然攻击成功率较高，但在发现多样化攻击类型方面存在局限性。相比之下，生成流网络(GFlowNet)虽然在攻击多样性上表现出色，但学习不稳定。研究团队成功将GFlowNet应用于大型语言模型(LLM)，提高了学习的稳定性，并有效发掘了多种漏洞。
为了解决这一问题，研究团队开发了三项关键技术：△稳定学习过程的“对照轨迹平衡(CTB)” △去除不必要信息的“噪声梯度修剪(NGP)” △帮助生成自然攻击提示的“流畅性稳定装置(MKS)”。
最终，稳定-生成流网络发现了134种攻击类型，约是现有技术发现的17种独特攻击类型的7倍，同时保持了92%的高攻击成功率。通过该技术训练的防御模型在利用不同攻击技术进行的交叉攻击评估中，能够有效防御多种攻击，证明了其高泛化性能。
研究团队期待这一技术能够在新药候选物质设计等多种AI生成领域得到应用。
金教授表示：“这一技术在数据较少和噪声较多的环境中，能够稳定地发现AI的多种漏洞，具有重要意义。它将成为在生成型AI实际服务应用之前，发现和防御更广泛风险因素的核心基础技术，从而推动安全可靠的AI开发。”
※ 本报道经人工智能（AI）系统翻译与编辑。
