360智脑张向征：共建可信可控AI生态 应对大模子安全寻衅

发布 | 鼎力大举财经

人工智能的加速发展，有力推动了社会的数智化转型；与此同时，带来的干系安全风险也日益凸显。克日，在北京市举行的通明湖人工智能开发与应用大会上，360智脑总裁张向征以“大模子安全研究与实践”为主题，向业界分享了大模子安全范畴的最新研究效果和实践履历。
张向征表现，大模子是数智化期间的告急底子办法，其应用贯穿浩繁行业和范畴，但陪伴而来的安全寻衅同样不容忽视。大模子的开发、训练、推理和应用涉及复杂的软件生态体系，这一过程中，数据泄漏、模子投毒、提示注入攻击、幻觉题目等安全隐患贯穿始终。张向征夸大，保障大模子安全，不但是维护企业长处的关键，更是确保社会公共安全的须要办法。

张向征提出，大模子安全面临四大核心寻衅：大模子软件生态体系安全、内容安全、幻觉题目和Agent流程可控。针对这些寻衅，360智脑团队基于多年安全研究积累，提出了一套完备的安全防护体系，包罗全链路检测、防护、攻击与测评的闭环流程。

在大模子软件生态体系安全方面，360智脑通过自主研发的检测工具与多条理安全评估方法，可实时发现和修复潜伏毛病，为开发者和用户提供全面的技能支持。别的，针对提示注入攻击、恒久性提示挟制、影象投毒等新型安全威胁，团队研发了精准辨认与多重防御机制，显着提升了模子对恶意运动的抗干扰本领。

内容安全方面，张向征分享了360智脑的实践履历。团队通过连续预训练、安全微调和安全强化对齐等本事，联合国标TC260的要求，构建了“大模子原生安全增强”“内容安全护栏”两大防护方案，有用淘汰模子输出中大概涉及的藐视私见、违禁内容和其他不良信息。在实际应用中，这些步伐资助大模子在金融、医疗和辅导等行业更安全、更高效地提供服务。

针对备受关注的大模子幻觉题目，360智脑创新性地引入幻觉检测Agent技能，可以大概对模子的输出举行实时评估与修正。通过联合外部知识库和搜索增强功能，该技能有用低沉了幻觉发生率，提升了模子的决议可信度。张向征透露，得益于这一技能，360智脑在AI搜索场景中的用户体验提升了32%。

别的，在Agent流程可控方面，360智脑构建了一套针对多Agent协作任务的流程监控与管理机制，通过实时监测和动态调解，确保模子任务实验的全程可控性与透明性。这一办法不但有用低沉了利用毛病的风险，还为复杂任务的安全性提供了有力保障。

演讲还先容了新型攻击方式的风险评估与应对计谋。随着大模子应用的加深，基于自然语言到代码的间接提示注入（NL2SHELL）等攻击正日益增多。对此，360智脑利用自主研发的安全评测大模子，联合红队攻击模子，通过对抗方式快速辨认潜伏威胁，并连续优化模子的安全计谋。

张向征表现，大模子安全不但是技能题目，更是行业共同面临的课题，只有在保障大模子安全的条件下，才气真正开释AI的无穷大概。360智脑致力于与产业搭档协作，共建安全可信的AI生态。他号令全行业关注大模子的“检、防、攻、测”体系创建，通过技能创新与资源共享，共同推动大模子在社会各范畴的落地与发展。