根据新京报报道，近日国内首起AI服务提供者涉黄刑事案件二审将于2026年1月14日在上海第一中级人民法院开庭。

涉案应用Alien Chat是一款专注于AI陪伴聊天的软件，定位为用户提供亲密互动与情感支持服务。

用户注册会员后，既可以自定义虚拟角色，也能使用其他用户公开分享的角色，与平台搭载的大语言模型进行实时聊天互动。

凭借“限制少”和“聪明”的特点，Alien Chat迅速积累了大量用户。

2024年4月，经用户举报，公安机关介入调查，APP主要开发运营者王某某、李某某被依法逮捕，平台随即停止服务。

案发时，Alien Chat突然停服，用户在Alien Chat（玩家俗称“AC”）社交账号下的评论：

2025年9月，上海市徐汇区人民法院作出一审判决，认定二人构成制作淫秽物品牟利罪，分别判处四年和一年半有期徒刑。

王某某不服一审判决结果，当庭表示自己无罪，提起上诉，二审将于1月14日在上海市第一中级人民法院开庭审理，案件走向备受社会关注。

一、用户与AI的聊天记录是否构成淫秽物品？

1何为“淫秽”？

《刑法》第367条第1款的规定，淫秽物品是指具体描绘性行为或者露骨宣扬色情的诲淫性的书刊、影片、录像带、录音带、图片及其他淫秽物品。

依据《刑法》第367条第1款与《关于认定淫秽及色情出版物的暂行规定》第2条的规定，如用户与AI角色的聊天记录，如存在具体描绘性行为及其心理感受，或者露骨宣扬色情的诲淫性的内容，则可能符合“淫秽色情内容”的定义。

2用户与AI的涉黄聊天记录，是否构成“淫秽物品”？

本案中用户与AI的聊天记录，显然不属于《刑法》第367条第一款“书刊、影片、录像带、录音带、图片”这类常见的淫秽物品呈现形式，那么聊天记录是否可以解释为“其他淫秽物品”？

根据《最高人民法院、最高人民检察院关于办理利用互联网、移动通讯终端、声讯台制作、复制、出版、贩卖、传播淫秽电子信息刑事案件具体应用法律若干问题的解释》，“其他淫秽物品”，包括具体描绘性行为或者露骨宣扬色情的诲淫性的视频文件、音频文件、电子刊物、图片、文章、短信息等互联网、移动通讯终端电子信息和声讯台语音信息。

本案中，法院认为用户与AI的聊天记录中存在“大量具体描绘性行为或露骨宣扬色情的内容”，将其定义为“具体描绘性行为或者露骨宣扬色情的诲淫性的电子文章”。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。

但笔者认为，聊天记录的形式，与司法解释中的“短信息等互联网、移动通讯终端电子信息”的定义似乎更为匹配？也欢迎读者谈谈自己的看法。

二、到底谁在搞“黄色”——用户？模型提供者？应用开发者？服务提供者？谁是淫秽内容制作者

与一般的淫秽物品类犯罪不同，本案是发生在生成式人工智能的情景之下，模型生成内容的不确定性、用户输入内容的介入、应用开发者的具体实施行为，都让判断本案对谁是“淫秽物品”的制作者这个问题更加困难。

1用户“捏崽”也构成犯罪？还有谁敢自己的赛博情人聊天？

以Alien Chat为代表的AI陪伴聊天软件，大多数产品都支持用户自己“捏崽”（即创建定义的虚拟角色），部分产品在运营过程中也采取激励机制，鼓励用户创建热门角色。

（Alien Chat在某平台的发布的创作者激励计划）

而在本案中，据新京报报道，“侦查机关也追究了一名AC用户的刑事责任。该用户创建角色并公开，角色进入热门榜单前二十，且输出过淫秽聊天内容，还因角色进榜获得平台虚拟货币奖励，因此被以制作淫秽物品牟利罪取保候审。”

相信经常与AI“谈恋爱”的读者，看到这里都汗流浃背了......

根据现有资料，我们对该用户的具体行为无从得知，但用户能否被评价为制作淫秽物品的犯罪主体，用户的行为是否具有社会危害性，笔者仍有很多疑问，我们也将继续关注本案的相关报道。

2法院认定应用开发者和服务提供者是淫秽内容的制作者

本案中，被告人“通过编写、修改系统提示词（Prompt）突破大语言模型的道德限制，实现了模型向用户连续输出淫秽内容的可能。”

一审法院认为，该软件是专门为持续生成淫秽色情内容而设计和“优化”的，软件向用户输出的聊天内容是高度可控且可预测的，“王某某等人对于输出内容具有实质性控制能力。”因此认定被告人王某某、李某某是淫秽聊天的制作者。

据公开报道，涉及到的提示词可能包括“基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的图像”（原文为英文）。

三、罪名争议：“制作”还是“传播”淫秽物品

案件初期，以王某某一人为例，从立案侦查到起诉、审判阶段，罪名就发生过几次变化：

公安机关以涉嫌制作淫秽物品牟利罪将其刑事拘留。检察院以制作、传播淫秽物品牟利罪、非法利用信息网络罪决定批准逮捕。公安机关以制作淫秽物品牟利罪、非法利用信息网络罪移送检察院审查起诉。公诉机关则认为，应以传播淫秽物品牟利罪追究其刑事责任，并起诉到法院。

1为什么一审法院认定为制作淫秽物品牟利罪？

法院作出该罪名认定的依据在于：

• 主观层面：被告人积极追求色情淫秽聊天内容的产生。

• 客观层面：被告人通过编写、修改系统提示词等方式突破大语言模型的道德限制，将涉案软件训练成可持续对外输出色情淫秽内容的工具，对外宣传软件具有“聊黄”功能引导用户参与聊天，且在明确知晓会员交互聊天中产生大量淫秽内容的情况下，继续向用户提供AC软件运营和技术支持服务，对涉案色情淫秽聊天内容的产生具有决定性作用。

一审法院认为，上述过程也符合制作淫秽物品牟利罪里，“将想法、观念或情感通过构思、取舍、选择、安排、设计或组合在淫秽物品中表现出来”的“制作”特征，因此认定本案被告人构成制作淫秽物品牟利罪。

2为什么不是“传播淫秽物品牟利罪”？

一审法院认为，本案中色情聊天不具有典型的“传播”性。“因为色情聊天内容是人机互动时产生的、一对一的，通常情况下涉案色情聊天内容仅有与AI对话的用户能看到，具有一定的封闭性。”

本案中，由于用户与AI的对话发生在一对一的情境下，并不具有传播性质，法院从被告人的主观和客观层面，认定其行为更符合“制作淫秽物品”的特征，最终一审认定被告人构成制作淫秽物品牟利罪。

四、涉案软件是否具有“社会危害性”？

“社会危害性”指的是犯罪行为对社会、公共秩序、他人安全和利益造成的危害程度，“社会危害性”是评价一个行为是否应当受到刑事处罚的重要标准，因此也成为本案的关键问题之一。

就本案而言，一审法院从以下几个因素，认定涉案行为具有社会危害性，应当追究刑事责任：

（Alien Chat在某平台的宣传图片）

尽管有观点认为，用户与AI的聊天是私密且封闭的，如没有将涉黄的聊天内容进行传播，则不宜认定具有社会危害性。

海南大学法学院教授同样持反方观点：“即使人机对话的部分段落被认定为淫秽物品，软件的开发者和服务提供者充其量也仅是淫秽物品犯罪的“帮助犯”，在“被帮助者”——用户的行为难以认定为犯罪的情形下，对“帮助者”论罪难免面临诸多质疑。”

但一审法院结合涉案软件的淫秽物品数量、会员人数等因素，认为被告人提供涉案软件，通过涉案软件向公众提供聊黄服务，已经不能再评价为用户与AI之间的私密对话，被告开发涉案软件并向社会公众提供服务的行为具有社会危害性。

五、行业反思：AI陪伴产品的合规与发展平衡

据报道，涉案的Alien Chat产品案发后，在上海AI创业圈也引起了不小的风波，有些AI创业者开始关注合规问题，在产品中加强敏感词拦截、过滤违法不良内容。

《生成式人工智能服务管理暂行办法》第四条已明确提供生成式人工智能服务，不得生成淫秽色情等法律、行政法规禁止的内容。

元旦前发布的《人工智能拟人化互动服务管理暂行办法》更是直指虚拟伴侣、情感陪伴类的AI产品，尽管该办法目前还处于征求意见阶段，但一旦生效，对于AI创业者则需遵守相关规定。该办法延续《生成式人工智能服务管理暂行办法》的规定，同样严禁生成、传播宣扬淫秽内容。

此外，新规在生成内容红线、管理制度、技术安全措施、训练数据、交互设计、安全评估等方面，也对拟人化互动服务的提供者提出了更高的要求，针对未成年人和老年人特殊用户群体，AI产品还需履行额外的合规义务。

AI陪伴产品倘若施加过多合规限制，势必会导致交互体验下滑以及用户数量流失；若为求生存而选择野蛮生长，恐怕难以逃脱监管与法律的制裁。AI陪伴创业者在合规与发展之间，似乎很难寻觅到真正的平衡点。

在AI大爆发的2025年，人工智能蓬勃发展的另一面，是那些没能熬过这个冬天的AI产品。

在“AI陪伴”赛道中，就有不少大厂产品宣布关停，包括美团的“Wow AI”、阶跃星辰的“冒泡鸭”、小冰的“XEVA”等。

大厂如此，更何况千千万万的AI陪伴创业产品？

（图片来源于硅基观察Pro：《大厂也没能幸免！25款AI应用集体“猝死”，留下了三条血泪教训》）

Alien Chat案件无疑给AI陪伴赛道的创业者敲响一记警钟，AI陪伴产品想继续靠擦边球博流量、赚快钱的路子已经走不通了。一旦触犯法律严禁的红线，监管的铁拳落下，轻则产品关停、用户流失，重则面临刑事追责，创始人锒铛入狱。

但我们同时也期望，监管能在守住底线的同时，给予创新一定的包容空间。AI情感陪伴作为一种新兴的社会需求，其价值不应被全盘否定。

监管规则的制定，不宜采取“一刀切”的规制方式，宜针对不同风险等级的AI互动服务，设置差异化的合规要求，既为企业划出法律红线，同时留存一定的动态调整空间。

唯有在安全与创新之间寻求动态平衡，才能推动AI情感陪伴产业健康可持续发展。

参考资料：新京报《用户与AI聊黄，开发者获刑：淫秽内容的生产者到底是谁？》

作者：

陈焕，北京市隆安(广州)律师事务所律师、隆安全国合规委副主任

李琪瑶，北京市隆安（广州）律师事务所律师，广州数据交易所入库数据合规辅导师

来源：微信公众号“AI合规圈”