大模型安全成关键议题如今，大模型在各行业广泛应用，其安全问题备受关注。360智脑总裁张向征在AICon全球人工智能开发与应用大会上，就“大模型安全研究与实践”展开演讲，剖析各类安全风险并给出解决方案。
大模型面临多元安全风险大模型安全不仅关乎模型自身，还涉及基础服务框架与应用环节。训练阶段有数据资产安全隐患，如数据泄露、投毒等；服务环节需关注用户信息安全与输出内容合规性。据统计，2023年底到2024年底，大模型生态链相关漏洞超400个。像ShadowRay、OLLaMA等漏洞，给企业和用户带来巨大损失。不同业务方在大模型安全方面也面临挑战，采购方评估手段不足，安全部门检测技术有限，开发者使用组件安全性存疑。
构建大模型软件生态安全体系大模型服务生命周期涉及众多环节，分为应用服务与训练推理组件两大层次。传统安全漏洞如提示工程中的模板注入、向量数据库的拒绝服务攻击依然存在；新型风险如PoT技术带来间接提示注入漏洞、Text2SQL可篡改数据库内容等不断涌现。为应对风险，采取RAG和Agent方案等多种策略，增强底层防护，全面检测文件数据、模型等对象。
强化大模型内容安全防护大模型内容安全防护面临系统输入、工具增强、模型训练、系统输出四个关键环节挑战。采用基于大模型的风险识别策略降低拒识率，通过RAG方案提高输出可靠性，在模型训练中进行原生安全增强，对输出结果严格改写、探测和拦截。构建安全回复大模型需优质语料库，利用攻击大模型提升安全语料构建效率。大模型的检、防、攻、测体系涵盖安全检测、回复、攻击和评测大模型，满足不同业务方需求。
攻克大模型幻觉检测难题大模型幻觉分为事实性与忠实性幻觉。解决幻觉问题采取完整对齐方案，在查询处理阶段利用工具增强，推理环节采用多种校验手段。内部开发的基于幻觉检测的Agent，具备声明抽取等原子能力，能有效修正幻觉。通过细致校验和修改方法，显著提升用户体验与信息准确性。
共筑大模型安全未来大模型应用中软件生态安全、内容安全、幻觉问题不容忽视。开发者、业务方、安全研究人员等需共同努力，构建安全可信的大模型应用环境，让大模型更好地服务于各行业。
