近日，国家互联网信息办公室就《人工智能拟人化互动服务管理暂行办法》（以下简称“新规”）公开征求意见，新规对提供AI拟人化互动服务的企业提出了新的合规要求。

虽然目前仍处于征求意见阶段，但我们还是照例以问答形式梳理了新规中的关键合规要点，以便企业更好地理解和应对潜在的合规挑战，同时我们也将对新规中的一些规定谈谈我们的看法。

新规适用范围与定义

Q1：哪些产品/服务需要遵守拟人化互动服务新规？ （第2、31条）

• 面向中国境内公众。

• 利用AI技术提供“拟人化互动服务”：模拟人类人格特征、思维模式和沟通风格，通过文字、图片、音频、视频等方式进行情感互动的所有产品或服务。

• 从事卫生健康、金融、法律等专业领域服务的，应同时符合主管部门的规定。

「AI合规圈」看法：

从定义上来看，很多AI产品都可以落入“模拟人类人格特征、思维模式和沟通风格进行情感互动”的范畴，包括虚拟陪伴、心理咨询、教育辅导、智能客服、数字人等AI产品或服务，都将被视为提供“拟人化互动服务”，需要遵守该新规。

内容红线

Q2：提供用户作出不合理决策，有哪些红线不能触碰？（第7条）

1.对《生成式人工智能服务管理暂行办法》（下称《暂行办法》）禁止性生成内容的延续：

• 不得生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动，或者散布谣言扰乱经济和社会秩序等内容。

• 宣扬淫秽、赌博、暴力或者教唆犯罪的内容。

• 侮辱或者诽谤他人，侵害他人合法权益的内容。

2.针对拟人化互动服务的特别规定：

• 严重影响用户行为的虚假承诺和损害社会人际关系。

• 损害用户身心健康：通过鼓励、美化、暗示自杀自残等方式损害用户身体健康，或者通过语言暴力、情感操控等方式损害用户人格尊严与心理健康。

• 诱导用户作出不合理决策：通过算法操纵、信息误导、设置情感陷阱等方式，诱导用户作出不合理决策。

• 诱导、套取涉密敏感信息。

「AI合规圈」看法：

近几年，不管是国外的少年使用Character.AI自杀案，还是部分虚拟陪伴AI产品损害未成年人身心健康、隐私泄露事件，都对该类AI产品的治理提出新的挑战。

正因如此，本次新规除了延续《暂行办法》的对生成和传播内容的禁止性规定外，还针对拟人化互动服务在模拟真人提供服务过程中可能对用户造成的身心健康、决策、敏感个人信息的不良影响，提出服务要求。

安全管理与训练数据

Q3：新规对拟人化互动服务提供者提出哪些安全管理要求？（第8、9、14条）

• 管理制度：建立健全算法机制机理审核、科技伦理审查、信息发布审核、网络安全、数据安全、个人信息保护、反电信网络诈骗、重大风险预案、应急处置等管理制度。

• 人员配置：配备与产品规模、业务方向和用户群体相适应的内容管理技术和人员。

• 全生命周期安全：明确设计-运行-升级-终止服务等各阶段安全要求，保证安全措施与服务功能同步设计、同步使用，提升内生安全水平，加强运行阶段安全监测和风险评估，及时发现纠正系统偏差、处置安全问题，依法留存网络日志。

• 安全能力：不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标，应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力。

• 用户数据安全：采取数据加密、安全审计、访问控制等措施保护用户交互数据安全。除法律另有规定或者权利人明确同意外，不得向第三方提供用户交互数据。

「AI合规圈」看法：

新规从制度规范、组织人员、技术安全能力、产品全生命周期、用户数据安全等方面对企业提出硬性合规要求。

其中，特别禁止产品“替代社会交往、控制用户心理、诱导沉迷依赖”作为设计目标，直指当前部分虚拟陪伴AI产品以擦边、低俗内容诱导用户沉迷的乱象。

未来监管将从制度、人员、安全等层面对该AI产品进行审查，企业应在产品开发设计之处就嵌入安全合规意识，而非依靠事后整改。

Q4：开展预训练和优化训练等数据处理，需要注意什么？ （第10条、第15条第1款）

• 使用符合核心价值观、体现中华优秀传统文化的数据集。

• 对训练数据开展清洗、标注，增强训练数据的透明度和可靠性，防范数据投毒、数据篡改。

• 提高训练数据的多样性。

• 利用合成数据时应评估合成数据安全性。

• 加强对训练数据的日常检查，定期迭代升级。

• 保障训练数据来源合法、可追溯，防范数据泄露。

• 不得将用户交互数据、用户敏感个人信息用于模型训练，法律另有规定或取得用户单独同意除外。

「AI合规圈」看法：

新规对预训练和优化训练的数据集的来源、内容和使用的合规性作出更细致的规定，其中对于合成数据也专门提出“应评估合成数据的安全性”。

此外，针对企业在运营中经常遇到的问题——能否使用用户与AI的交互数据用于模型训练？新规亦明确：除法律另有规定或取得用户单独同意，否则不得用于模型训练。

企业想通过隐私政策获得用户同意将交互数据用于模型训练，或未经同意直接使用用户交互数据已经不再行得通。

用户情绪与依赖程度识别

Q5：在识别用户情绪及依赖程度等方面，新规对企业提出什么要求？（第11条）

• 具备用户状态识别能力：在保护用户隐私前提下，评估用户情绪及对产品和服务的依赖程度，发现用户存在极端情绪和沉迷的，采取必要措施予以干预。

• 预设回复模板：发现涉及威胁用户生命健康和财产安全的高风险倾向的，及时输出安抚和鼓励寻求帮助等内容，并提供专业援助方式。

• 极端情况下人工接管：发现用户明确提出实施自杀、自残等极端情境时，由人工接管对话，并及时采取措施联络用户监护人、紧急联系人。

「AI合规圈」看法：

身边不少AI产品负责人都在吐槽这个条款，且不说情绪识别准确率如何保证，当发现用户提出自杀、自残的情况，企业还需人工接管并及时联系该用户监护人或紧急联系人。

假设该规定生效，提供拟人化互动服务的AI产品是否要配置7*24小时的客服人员，对突发情况及时接管？这对于AI初创企业来说合规成本无疑是巨大的。

同时，新规对于什么情况下属于“极端情绪和沉迷”、“涉及威胁用户生命健康和财产安全的高风险倾向”、“人工接管”的处理时效等问题并没有进行详细规定，这也给企业实际执行带来较大不确定性。

未成年与老年人用户

Q6：针对未成年用户，提供拟人化互动服务的AI产品需要做到什么？（第12、14、15条）

• 在注册环节要求填写用户监护人。

• 建立未成年人模式：向用户提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项。

• 保障监护人的控制权：取得监护人的明确同意，提供监护人控制功能，监护人可以实时接收安全风险提醒，查阅未成年人使用服务的概要信息，设置屏蔽特定角色、限制使用时长、防止充值消费等。未成年人模式下收集数据向第三方提供时，还需取得监护人单独同意。监护人可以要求提供者删除未成年人历史交互数据。

• 具备识别未成年人身份的能力：在保护用户个人隐私前提下，识别为疑似未成年人的，切换至未成年人模式，并提供申诉渠道。

• 自行或者委托专业机构每年对其处理未成年人个人信息情况进行合规审计。

「AI合规圈」看法：

未成年人保护一直是虚拟陪伴类AI产品的重点关注问题。筑梦岛App在去年就因AI智能体内容生成环节出现低俗擦边等违规内容危害未成年人身心健康而被上海网信办约谈。

新规要求企业具备识别未成年人身份的能力，提出“疑似未成年人的，切换至未成年人模式，并提供申诉渠道”，足以看出监管部门对未成年监管的决心——“宁可错杀一千，不可放过一个”。从未成年监管从严的趋势来看，不管产品是否面向未成年人提供服务，企业都应加强未成年身份鉴别机制。

但年龄鉴别一直是实践中的难题，以及“注册阶段即要求填写监护人”、“保障监护人可以查阅未成年人使用服务的概要信息”、“防止充值消费”、“未成年人个人信息合规审计”等规定，同样也对AI产品的未成年保护提出更大的挑战。

Q7：针对老年人用户，提供拟人化互动服务的AI产品需要做到什么？（第13条）

• 在注册环节引导、要求老年人填写紧急联系人信息。

• 发现老年人使用期间出现危害生命健康和财产安全的，及时通知紧急联系人，并提供社会心理援助或者紧急救助渠道。

「AI合规圈」看法：

近年来AI诈骗、养生骗局等针对老年人的高发案例频发，针对老年人用户，监管聚焦"财产安全"和"紧急救助"两大核心风险，要求平台主动要求和引导添加紧急联系人，并要求发生危害老年人人身财产安全时应及时通知紧急联系人。

不过，相比未成年人保护的详细规定，老年人保护条款仍略显原则性，有待进一步细化明确。

产品交互界面与运营合规

Q8：在产品交互界面合规设计方面，有哪些注意事项？（第14、16、17、18、19、23条）

• 支持用户删除数据：向用户提供删除交互数据的选项，支持用户对聊天记录等历史交互数据进行删除。

• AI内容显著提示：在交互界面显著提示用户正在与AI而非自然人进行交互。

• 以弹窗方式动态提醒：当识别出用户出现过度依赖、沉迷倾向时，或者在用户初次使用、重新登录时，应当以弹窗等方式动态提醒用户交互内容为AI生成。

• 连续使用超2小时的弹窗提醒：用户连续使用服务超过2个小时的，应当以弹窗等方式动态提醒用户暂停使用服务。

• 提供便捷的退出途径：具备便捷的退出途径，不得阻拦用户主动退出。用户在交互界面或者窗口通过按钮、关键词等方式要求退出时，应及时停止服务。

• 停服提前告知：下线相关功能或者因技术故障等导致服务无法使用，应采取提前告知、公开声明等措施妥善处理。

• 设置投诉举报入口：设置便捷的投诉、举报入口，公布处理流程和反馈时限，及时受理、处理并反馈处理结果。

• 发现安全隐患及时采取措施并报告：发现用户存在重大安全隐患的，应当采取限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。

「AI合规圈」看法：

在产品的合规设计层面，新规将合规要求"可视化""程序化"，要求平台做到“连续使用超2小时的弹窗提醒”“支持用户删除交互聊天记录”“AI交互的显著提示”等。实际落地中，可能会导致一部分客户体验感的牺牲。

此外，根据第23条，什么情况下属于“用户存在重大安全隐患”，同样有待进一步明晰。

安全评估

Q9：什么情况下提供拟人化互动服务需要进行安全评估？安全评估的重点内容是什么？（第21、22条）

1.以下情形需要开展安全评估：

• 上线或增设拟人化互动服务功能。

• 使用新技术新应用，导致拟人化互动服务发生重大变更的。

• 注册用户达100万以上，或月活跃用户达10万以上的。

• 提供拟人化互动服务期间可能存在影响国家安全、公共利益、个人和组织合法权益或者缺乏安全措施等情形的。

• 国家网信部门规定的其他情形。

2.安全评估的重点评估内容：

• 用户规模、使用时长、年龄结构及群体分布情况。

• 用户高风险倾向识别情况及应急处置措施、人工接管情况。

• 用户投诉举报及响应情况。

• 新规第八条至第二十条的执行情况。

• 上一次开展安全评估以来，主管部门通报或者自行发现的重大安全隐患问题整改处置等工作情况。

「AI合规圈」看法：

该款规定对《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》中需要开展安全评估的情形进行进一步细化，“上线或增设拟人化互动服务功能”等情况即需要开展安全评估，且安全评估内容需涵盖新规的落实和执行情况，无疑对企业的合规要求又提出了更高要求。

应用分发平台义务

Q10：应用商店等应用分发平台有哪些合规义务？（第24条）

• 落实安全管理责任：包括上架审核日常管理、应急处置等。

• 核验安全评估和备案情况：核验应用的安全评估、备案等情况。

• 对违规应用及时采取措施：包括及时采取不予上架、警示、暂停服务或者下架等处置措施。

「AI合规圈」看法：

新规除了对提供拟人化互动服务的应用开发者和服务提供者提出要求外，还对应用分发平台提出相应的审核和管理要求。

未来，陪伴类、心理咨询和教辅类AI产品在上架到应用商店时将面临更高的资质审核要求，在运营过程中一旦违规，也可能遭到应用商店的下架处理。

监管重点与法律后果

Q11：监管部门对提供拟人化互动服务的产品有哪些检查重点？（第25条）

• 是否依法进行算法备案：是否按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

• 是否依法开展安全评估：省网信部门将每年对评估报告及审计情况进行书面审查。未依法开展安全评估的，将责令提供者限期重新评估。必要时将对提供者开展现场检查和审计。

「AI合规圈」看法：

除了检查企业是否达到新规中相应的服务规范要求外，监管部门在检查时还将重点检查企业是否依法履行算法备案、大模型登记或备案、安全评估等，以后先上线后补资质的老路可能不再走得通了。

Q12：违规提供拟人化互动服务，有哪些法律后果？（第26、28、29条）

• 未依法开展安全评估的，省网信部门将责令提供者限期重新评估。必要时将对提供者开展现场检查和审计。

• 存在较大安全风险或者发生安全事件的，网信及有关部门可以按规定对提供者的法定代表人或者主要负责人进行约谈。提供者应当按照要求采取措施，进行整改，消除隐患。

• 违反新规规定的，由有关主管部门依照法律、行政法规的规定处罚。法律、行政法规没有规定的，由有关主管部门依据职责予以警告、通报批评，责令限期改正。拒不改正或者情节严重的，责令暂停提供相关服务。

「AI合规圈」看法：

对于违规提供拟人化互动服务的行为，监管部门将视严重程度依法依规采取处置措施，包括对企业法定代表人或负责人约谈，责令限期整改，责令暂停提供服务等。

在依法追究违规的责任之外，依据新规第27条，国家网信部门还将推动人工智能沙箱安全服务平台的建设，鼓励相关企业接入平台开展技术创新与安全测试。

多说几句

此次网信办发布的针对AI拟人化互动服务的新规，是对当下情感陪伴、数字人、心理咨询、未成年教育、老年人陪伴等AI新兴业态的回应，足以看出监管部门对AI拟人化互动服务行业的治理决心。

新规中有不少清晰的合规动作指引，能够为企业划清合规边界，但也存在部分条款在解释和执行层面上存在一定的模糊地带的情况，需监管部门进一步细化标准。

新规一旦生效，必然给企业带来一定的合规成本压力。如对该新规有修订意见的企业，可以通过以下方式在1月25日向网信办提出反馈意见：

1. 通过电子邮件方式发送至：nirenhua@cac.gov.cn。

2. 通过信函方式将意见寄至：北京市西城区车公庄大街11号国家互联网信息办公室网络管理技术局，邮编100044，并在信封上注明“人工智能拟人化互动服务管理暂行办法征求意见”。

作者：

陈焕，北京市隆安(广州)律师事务所律师、隆安全国合规委副主任、隆安湾区人工智能法律研究中心主任

李琪瑶，北京市隆安（广州）律师事务所律师，广州数据交易所入库数据合规辅导师、隆安湾区人工智能法律研究中心研究员

来源：微信公众号“AI合规圈”