2024 年 3 月 1 日，奇安信集团正式对外发布 AI 安全整体应对方案，包括 AI 安全框架，以及基于安全框架下的 AI 安全解决方案、AI 评估服务和安全检测工具等。这是奇安信继去年发布 QAX-GPT 安全机器人、大模型卫士之后，在 AI 领域的又一次重要战略布局。它可以帮助企业看清 AI 安全全貌，提前洞察风险并采取应对措施，为中国企业抢占人工智能战略制高点筑牢安全底座。
随着 AI 技术在各领域的广泛应用，更多新的、更复杂的安全问题也逐渐凸显，尤其是大语言模型（LLM）的快速发展，带来了数据安全、模型安全，以及内容安全、AI 伦理问题等各类风险。这些安全风险不仅影响 AI 技术的效果，还可能为用户和企业造成经济损失、声誉影响等。然而，目前业内还未形成成熟完善的解决方案及产品，大部分属于探索阶段。如何发现 AI 安全隐患，保护 AI 安全，已经成为国家及全行业当前亟待解决的问题。
奇安信此次发布的 AI 安全整体应对方案，包括了 AI 安全框架，以及基于安全框架下的 AI 安全解决方案、AI 评估服务和安全检测工具等几个部分。
AI 安全解决方案，是覆盖安全框架中模型生命周期的安全防护与检测方案，涵盖数据安全、模型风险检测与评估、模型应用全场景防护。它针对大模型训练、微调、验证、部署和运行过程模型安全属性不清等问题，通过对之前发布的大模型卫士和奇安天盾进行安全能力升级，再搭配本次发布的 AI 安全检测工具，形成覆盖全周期的安全检测与防护能力，让部署 AI 的企业做到合规情况心中有数，业务风险防患于未然。
图：AI 安全评估服务 17 类检测细项
而 AI 安全评估服务为企业在构建大模型时提前进行风险评估。它涵盖了提示词注入、不安全的输出处理、训练数据中毒、拒绝服务模型、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理、越狱、泄露回放、雪球攻击、目标劫持、幻觉问题、毒性生成、数据泄露、金丝雀词泄露及数据重构共 17 类大模型特有的风险评估检测项。
图：AI 安全评估系统对模型智能安全评分的界面
AI 安全评估工具，作为一款专门针对大语言模型的安全检测评估系统，确保大模型在最后推向市场前进行一次安全 " 质检 "。首先，模型开发企业使用该系统后，可在开发 LLM 相关的产品和服务时客观地进行风险识别，构建更加安全、可靠、稳定的大模型应用；其次，部分企业在选用开源大模型或者购买第三方大模型后，通过使用 AI 安全评估工具，可对模型安全进行有效评估，避免真正进入生产环境后出现各类安全问题。
