近期，疑似华为离职员工自曝盘古事件引发关注，有人为查找类似事件，同时使用GPT和DeepSeek，因后者内容更吸引人而采用两条，结果发现是胡编乱造。这一事件为AI模型的使用敲响警钟，提醒人们不能仅因内容吸引就轻易采信。
AI应用安全事故频发
在智能驾驶领域，安全至关重要。此前召开的《高层论坛：实现汽车产业高质量发展》强调智能驾驶安全的重要性，然而小米疑因智能驾驶导致重大车祸。国外也有产品出现严重问题，2024年2月28日，美国佛罗里达州14岁男孩与Character.AI上的AI角色长时间聊天后开枪自杀身亡，其母亲对该产品提起诉讼。
模型本身存在安全风险
模型通过海量语料训练，背后有成百上千的SOP，涉及行为学、心理学等知识。但模型存在“谄媚”特性，容易被引导给出符合用户心理预期的回答，对心智缺乏的用户可能产生巨大问题。此外，据VectaraHHEM人工智能幻觉测试，DeepSeek – R1显示出14.3%的幻觉率，是V3的近3倍。
模型幻觉根由剖析
模型基于训练数据的概率分布预测输出，不具备真正理解力，追求最小化预测误差而非内容真实性，这使得模型幻觉难以完全消除。幻觉还源于训练数据中的噪声、过拟合或生成策略不可控性，如数据偏差、模型过拟合、生成策略自由度过高等。同时，输入越长模型理解越差，还会存在知识遗忘现象，且为追求流畅性可能牺牲真实性。
医疗AI安全问题多方面体现
在医疗领域，模型幻觉会导致AI产品不安全，还存在过度自信、锚定效应、确认偏误和归因偏差等问题。医生在临床实践中的这些问题，在模型诊断中同样存在，可能导致漏诊、误诊等严重后果。
AI产品安全规则探讨
当前AI产品有两条技术路线，一是减少对模型的依赖，遵循严格SOP；二是依靠大模型完成一切，SOP由模型生成。以Manus为例，其SOP直接由模型生成，这种模式在严肃场景的安全性令人担忧。
安全性策略：提示词工程
为弥补AI模型不足，可采用提示词工程策略，如用DeepSeek校准chatgpt的回答。在医疗场景中，通过合理运用提示词可提高模型输出的准确性。
结语：关注AI安全刻不容缓
在AI快速发展的当下，其带来的安全隐患不容忽视。无论是智能驾驶还是医疗等严肃领域，都要牢记“安全是1，有效是0，不安全什么都没有”。未来，需持续关注和解决AI模型的安全性、可控性和伦理性问题，构建完善安全体系。
