近日,电商智能体、医疗健康智能体、办公智能体接连发布,AI应用迎来爆发式增长,正成为推动各行业发展的新引擎。从电商平台到医疗健康,从制造业到能源生产,AI技术正加速赋能千行百业。然而,随着技术的广泛应用,AI带来的安全风险也引发广泛关注。近日,我国发布《人工智能生成合成内容标识办法》,中国信通院也启动了2025年对AI智能体和大模型的安全评估工作,为AI应用划定安全边界,推动人工智能在合法、安全、可控的框架内发展。
AI应用加速落地 赋能千行百业
近日,AI智能体产品接连发布,AI应用加速落地。在电商平台,探域科技于3月17日发布“探域电商智能体”,成为“智能客服”,帮助商家智能回复买家提问,并可执行营销任务。在办公领域,钉钉宣布推出AI智能体客服,作为企业的“电子员工”,AI智能体客服可接入企业官网、公众号直接服务消费者和企业客户。在医药领域,中康科技于3月15日正式发布“医疗健康全场景智能体”,辅助医生提升诊断效率和精准度,帮助连锁药店优化库存与运营效率。
今年一季度,互联网企业在AI板块竞相发力,进一步推高了AI应用热度。华鑫证券研究报告显示,阿里、腾讯、字节跳动等企业积极布局AI产业链。例如,阿里正式发布并开源推理模型通义千问QwQ-32B,并宣布未来三年将在云和AI领域投入超过3800亿元;腾讯借接入DeepSeek的热度,持续投放广告;字节跳动利用自家豆包模型,围绕自身生态打造营销策略。
“2025年可能会成为AI智能体爆发的元年。”百度创始人、董事长兼首席执行官李彦宏近日发文称。他提到,推理大模型的深度思考能力将推动“AI智能体”落地。随着大模型技术的迭代和应用成本的下降,人工智能应用将迎来大爆发,加速赋能工业、制造、能源、交通、政务等行业。
AI正加速重构生产力,在众多行业中发挥着不可小觑的作用。在化工领域,中国化学党委书记、董事长莫鼎革表示,AI可提高化学工程中的建模速度、计算效率与准确性,解放劳动力。在装备制造业,中国中车董事长孙永才表示,要推动AI技术深度融入中车全产业链、供应链和创新链,全面赋能22个方向、106个业务、369个场景,发挥人工智能对产业发展的“乘数倍增效应”。在能源生产领域,中国核电董事长卢铁忠称,中国核电旗下两家单位将AI技术融入原本的大数据模型,将智能回答和数据分析效率提升了45%。在医疗领域,圣湘生物董事长戴立忠说,AI技术与生命科技加速融合,将推动药物研发、基因组学、医学影像分析、临床决策支持、生物制造、健康管理、合成生物学等领域迎来爆发式增长。
构筑安全边界 应对AI风险挑战
AI技术广泛应用,也带来安全风险。从国家法律法规到行业企业举措,各界积极探索如何在充分发挥AI效能的同时构筑坚实的安全边界。
在刚刚过去的3·15国际消费者权益日,AI深度伪造引发的新型骗局引发网民热议。AI生成内容带来的安全风险日益凸显,小米集团创始人、董事长兼CEO雷军近日表示,AI换脸、拟声等技术,带来新的违法重灾区,他本人就是AI换脸拟声的“受害者”。
针对这一问题,近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》,为AI生成的内容划定安全边界。《标识办法》明确,人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式,并强调任何组织和个人不得恶意删除、篡改、伪造、隐匿标识,不得通过不正当标识手段损害他人合法权益。
在行业应用中,大模型也可能带来安全风险。在医疗应用领域,科大讯飞董事长刘庆峰表示,大模型技术在医疗临床、服务、管理等领域应用广泛,但面临着数据安全、医学专业性及伦理风险等问题,如部分AI应用不具备专业认证的医疗能力却能回答相关问题,造成极大认知误解,应制定医疗健康行业大模型应用技术标准与测试规范。
个人与企业的数据安全同样面临威胁。奇安信董事长齐向东说,当下许多企业和个人部署私有化大模型时,服务器未采取安全措施,数据隐私和基础设施安全风险巨大。要系统提升安全能力,确保人工智能安全发展,“安全”必须要“快一步”。面对AI应用带来的多个层面网络安全挑战,360集团创始人周鸿祎提出“以模制模” 思路,通过研发安全大模型,管理企业知识库的使用、智能体的调用,并管理基座模型产生幻觉的问题。
中国信通院人工智能所安全与具身智能部主任石霖指出,近年来,语言大模型、多模态模型、智能体和具身智能等领域不断出现突破性创新,推动人工智能迈向通用智能初始阶段。然而,人工智能也带来了诸多潜在的风险和挑战,规范人工智能应用安全边界的核心在于守住安全底线,确保人工智能技术在合法、安全、可靠、可控和向善的框架内发展。为此,我国围绕统筹“发展与安全”两项重要议题,先后颁布一系列重要文件,加强顶层设计,推动人工智能产业良性发展,针对重点领域开展敏捷治理实践,通过“小快精”的治理模式,应对技术带来的复杂挑战。
平衡创新与安全 迎接AI时代
据今年发布的第55次《中国互联网络发展状况统计报告》,我国生成式人工智能产品用户规模达2.49亿人。AI技术成为未来竞争力的重要一环。
为AI健康发展塑造根基,需要更完善的治理框架。2024年9月,全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0版,以鼓励人工智能创新发展为第一要务,以有效防范化解人工智能安全风险为出发点和落脚点,提出了包容审慎、确保安全,风险导向、敏捷治理,技管结合、协同应对,开放合作、共治共享等人工智能安全治理的原则。
“实现推动技术创新和保障安全的平衡,一方面要加强多元共治;另一方面要充分发挥产业界的自治自律能力。”石霖说。中国信通院正在推动人工智能安全治理方面的研究。一是开展基于风险的安全治理框架研究,愈发聚焦识别、评估、应对人工智能“真风险”。二是紧随前沿应用,布局安全测试方案。三是关注产业诉求,凝聚产业力量。