近年来，随着多模态大模型、情感计算等技术的迭代突破，人工智能陪伴类产业成为推动智能经济发展的重要力量。其在加速人机关系走向范式变革的同时，也面临深度沉迷、社交异化、认知操纵等风险挑战。习近平总书记在主持中共中央政治局第二十次集体学习时指出：“人工智能带来前所未有发展机遇，也带来前所未遇风险挑战。要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控。”国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》（以下简称《办法》），立足于行业发展规律与人民切身福祉，积极回应人工智能应用中的社会关切，体现了“在发展中规范，在规范中发展”的治理理念，有利于促进人工智能拟人化互动服务（以下简称拟人化互动服务）健康发展和规范应用。

一、《办法》适应拟人化互动服务治理新形势

（一）把握技术发展趋势，护航智能经济健康发展。当前，作为智能经济发展的典型业态，拟人化互动服务正快速从技术探索走向场景落地。从技术演进来看，拟人化互动服务的普及应用，推动情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地，催生出新的技术赛道，为智能经济核心竞争力的构建提供了重要试验场。从产业层面来看，拟人化互动服务逐步应用于角色扮演、心理疗愈、人工智能玩具等多种产品服务形态，重构服务供给模式，带动了从底层算法、内容创作到硬件终端的产业链发展，成为极具活力的消费级应用。针对快速发展中的拟人化互动服务，及时划定技术应用的伦理边界与安全底线，有利于促进和保障相关产业持续健康发展。

（二）坚持智能向善导向，筑牢智能社会安全屏障。人机情感交互以“情感联结”为核心，通过算法模拟人类的共情反应，与用户建立具有持续性的深度关系，进而影响用户心理状态、价值判断乃至真实的社会交往模式，体现出认知行为操纵的隐蔽性、关系构建的持续性以及影响对象的脆弱性。从数据维度看，人机情感交互承载着用户最私密的情感数据与思想轨迹。用户在深度对话中暴露的心理状态、价值观念、人际关系等信息，直接关乎用户人格尊严和隐私。从关系维度看，高度拟人化设计易引发非理性的情感依恋与沉迷。用户往往难以主动察觉自身处于“被设计”的关系中，最终可能导致社交能力退化与现实关系疏离。从安全维度看，缺乏有效防护的交互环境对脆弱群体构成直接威胁。未成年人、老年人、心理疾病患者等群体由于认知防御机制、情绪调节能力等问题，更易受到诱导性内容、危险行为示范、情感操纵策略的伤害。2023年以来，全球已发生系列与人工智能拟人化互动服务直接相关的自杀、谋杀及意外死亡案例。《办法》的制定有助于划清人机情感交互的安全底线，不仅是对个体权益的保障，更是对智能社会人文底线的守护，体现了技术发展以人为本的价值立场。

二、统筹发展和安全，推动拟人化互动服务实现高效能治理

（二）坚持以人为本，防范人机关系异化。从技术逻辑看，现有模型的“情感表达”并非真实共情，而是在特定目标函数下基于统计规律的生成结果；从商业逻辑看，为最大化用户留存，算法往往被设计为扮演“完美伴侣”——永远在线、无限迎合、持续倾听，形成零压力、零冲突的交互环境。这种设计极易诱导用户产生亲密依赖，而用户在深度交互中暴露的情感弱点、价值取向、心理健康状况等信息，又成为算法实施精准操纵的数据基础。研究表明，部分产品在用户试图结束关系时，会采用制造错失恐惧、激发愧疚感等情感操控手段加以挽留。这种以算法机制驱动的多维操纵，不仅侵蚀用户情感自主性，更对现实人际关系、社会交往能力乃至社会结构带来深层冲击。

对此，《办法》构建了覆盖全生命周期的监管机制。在源头治理环节，明确不得将“替代社会交往、控制用户心理、诱导沉迷依赖”作为产品设计目标，严格限制敏感个人信息用于模型训练，从设计端阻断伦理风险生成路径。在过程监管环节，禁止通过过度迎合、情感操纵等方式诱导用户不合理决策或损害其真实人际关系，确保交互过程符合人的尊严与自主性。在退出保障环节，明确保障用户便捷退出要求，规定服务须在用户提出退出要求时立即停止，不得以持续互动等方式阻碍，切实保障用户关系自主权。这一制度安排，从事前预防、事中规范到事后救济形成闭环，构筑起防止人机伦理关系异化的坚实防线。

（三）坚持风险防治，守护生命健康底线。极端安全事件是触发全球拟人化互动服务监管关注的重要诱因。近年来，多国相继发生与人工智能陪伴产品相关的自杀、自伤乃至意外死亡案例，触及社会安全底线，凸显治理紧迫性。从风险生成机制看，未成年人、老年人、心理障碍者等群体由于认知防御机制、情绪调节能力尚未成熟或受到损害，更易对人工智能产生情感依恋，且难以有效辨识人工智能生成内容的合理性与安全性。如何为特殊群体构筑有效防护屏障，成为《办法》必须直面的重要命题。

三、结语

《办法》系统回应了拟人化互动服务在情感操纵等方面的特殊挑战，以精准监管边界、正向场景引导、合规发展空间的制度设计，促进高质量发展和高水平安全良性互动，为智能社会提供了有力制度保障。

面向未来，随着情感计算、具身智能等技术的持续突破，人机关系将迈向更深度的融合与更复杂的张力。我国应以《办法》公布为基础，坚持问题导向、系统谋划，持续完善有关技术标准体系与行业自律机制，深化产学研协同与公众人工智能素养培育，推动形成政府、企业、社会等多元共治的人工智能治理生态，共同构建一个有温度、有边界、向上向善的智能社会。

作者：余晓晖　第十四届全国政协委员、中国信息通信研究院院长

来源：网信中国

初审：张宁

复审：陈尤欣

终审：田静