人工智能会威胁我们的生活吗？网络安全周给出全新应对措施

　　2025年国家网络安全宣传周正在全国范围内举行。在云南昆明的主会场，昨天（15日）下午进行的网络安全技术高峰论坛上，《人工智能安全治理框架》2.0版发布，和去年9月发布的1.0版相比，这版框架有哪些变化呢？

　　国家互联网应急中心副主任 刘博：框架2.0在1.0的基础上进行横向拓展和纵向加深，结合人工智能技术发展趋势与应用实践，持续跟踪风险演变，迭代完善分类体系，探索分级路径，优化防范治理措施。

　　据了解，近年来人工智能技术和应用飞速发展，赋能千行百业。与此同时，人工智能安全风险的表现形式也在同步演进变化。《人工智能安全治理框架》2.0版对相关风险进行了梳理调整，并更新了防范治理措施。

　　在治理原则上，框架2.0版新增提出“可信应用、防范失控”的原则。推动形成涵盖技术防护、价值对⻬、协同治理等多层面的可信人工智能基本准则，确保技术演进安全、可靠、可控，严防威胁人类生存发展的失控⻛险，确保人工智能始终处于人类控制之下。

　　同时，框架2.0版还新增了人工智能安全风险的分级原则和可信人工智能基本准则。

　　国家互联网应急中心副主任 刘博：该部分为框架2.0新增的专题性内容，划分5种风险级别，明确风险等定级的基本思路。提出8项可信人工智能基本准则，包括人类最终控制、尊重国家主权、价值观对齐、提升系统透明度、促进可客观验证、强化安全防护、前瞻预防应对和全球协同共治。

　　模拟演示AI大模型遭受网络攻击

　　人工智能大模型如今已应用到很多场景下，不少企业都进行了部署，用来辅助各项工作。但是这类大模型安不安全？被攻击会出现什么情况？同样在云南昆明主会场举行的网络安全博览会上，技术人员也给记者进行了展示。

　　参展商技术人员 王明耀：这里模拟了一个企业部署的一个大模型，现在看到这个大模型是可以正常运行的，然后攻击者通过扫描发现这个大模型的一个暴露的API接口。攻击者利用这个未鉴权的漏洞就接管了这个大模型。

　　技术人员告诉记者，一旦攻击者接管大模型，就能够在后台实时监控大模型的运行，查看大模型对话过程中的所有信息。

　　参展商技术人员 王明耀：如果员工在和AI对话中，传输了一些敏感信息的话，通过远程都可以直接获取到。这样就很容易造成企业敏感信息的泄露。

　　技术人员介绍，一旦攻击者接管了大模型，很有可能会进一步进行网络攻击，投放勒索病毒等，严重的还有可能向大模型进行数据投毒。

　　参展商技术人员 王明耀：控制了大模型之后，攻击者就可以对大模型进行篡改了。确实可以对大模型进行污染，或者是其他一些比较敏感的操作。

　　对此，技术人员也提醒，企业在内部部署大模型的时候，要严格管控权限，不能在没有防护的情况下，就将大模型接入互联网，避免因为存在漏洞等问题，而被不法分子攻击。

　　细分人工智能安全风险

　　提供应对措施

　　此次发布的《人工智能安全治理框架》2.0版针对安全风险进行了细化分类，并提出了技术应对和综合治理措施。

　　框架2.0版将安全风险细化为技术内生安全风险，技术应用安全风险和应用衍生安全风险三类。

　　技术内生安全风险主要增加了模型开源风险，强调基础模型的开源可能会为不法分子训练“作恶模型”提供便利。技术应用安全风险则增加了污染网络内容生态等具体类型，提出，模型输出的低质不良信息，经网络扩散传播、模型循环引用，会造成网络内容质量的整体下降，甚至特定领域、话题的内容污染。

　　应用衍生安全风险方面内容增加较多，主要是冲击劳动就业结构、挑战资源供需平衡、加剧科研伦理风险等。其中指出，“人工智能+科研”降低了生物、基因等高伦理风险科研领域的进入门槛，拓宽了普通科研机构、人员探索敏感科学问题的边界，个别科研伦理意识不强的机构、人员可能开展违背社会伦理、社会禁忌的高风险研究活动，打开科技“魔盒”。

　　对此，框架2.0版共制定了30个技术应对措施和14个综合治理措施。

　　比如，针对信息内容安全方面，强调要建立安全护栏，对输入输出进行动态过滤，防止恶意注入和违法内容生成，避免人工智能系统违法违规输出敏感个人信息和重要内容。并要求对人工智能生成内容进行标识，实现可识别、可追溯、可信赖。

　　国家互联网应急中心副主任 刘博：在管理方面，框架2.0新增提升全生命周期安全能力，安全有效释放重要行业应用需求，构建科技伦理准则，增进协同应对失控风险共识等综合治理措施。

　　反制无人机“黑飞”

　　AI算法快速定位

　　除了人工智能应用带来的安全问题之外，无人机“黑飞”“乱飞”等行为近年来也不断发生。在网络安全博览会的现场，参展商就向记者展示了一套针对“黑飞”“乱飞”的反制组合拳。

　　在模拟的一个无人机“黑飞”的现场。瞄准、射击，很快，这台“黑飞”的无人机就迫降到了地面。技术人员手中的正是他们研发的便携式无人机反制枪。

　　参展商技术人员 何应彪：目前我们自研的无人机反制枪配备了6个频段，能够基本上覆盖市面上商用无人机和自制穿越机的反制。

　　与反制枪配套的，还有一套先进的无人机侦测定位系统。通过对无人机与控制器之间的信号进行截取，再加上系统内置的AI算法，这套系统能够很快地确定无人机的识别码、经纬度等信息，并推送到管控平台上。

　　参展商技术人员 何应彪：识别码相当于这个无人机的身份证。我们通过识别码可以溯源到这个无人机的持有者。这套平台最关键的功能，就是定位到了飞手的经纬度信息。通过飞手的经纬度信息能够定位到飞手的位置。通过追踪飞手的功能，协助公安机关去找寻“黑飞”无人机的飞手，对打击“黑飞”“乱飞”的行为作出有力支撑。

　　据了解，这套系统对自制无人机也同样能够实现有效的侦测和反制，目前在上海、安徽等地部分公安机关已经应用。