← 返回研究文章

科技 / AI

儿童 AI 的合规边界,藏在产品设计里

从亲子生成绘本到偏好记忆、角色陪伴、能力评分和实体玩具:沿着五次产品迭代,理解中国大陆、欧盟、美国及其他市场的儿童 AI 合规边界。

假设一家创业公司做一款给 8 岁孩子用的 AI 绘本生成工具。家长付费,孩子和家长一起选角色、主题与场景,系统生成六页图文草稿;亲子逐页审阅、修改后再保存。第二版记住角色和创作偏好,第三版让故事角色主动问候并持续对话,第四版根据创作过程与作品给出“表达能力”或“想象力”评分,第五版把故事角色延伸为会说话的实体玩具。

这五版的底层模型可以完全一样,合规问题却一版比一版不同。仅仅问“有没有取得家长同意”,无法回答机器能否扮演亲密关系、能否评价孩子的能力、是否要承担玩具安全责任,也无法解释为什么同一个功能在中国大陆、欧盟和美国会走进不同的制度。讨论儿童 AI,起点应该是产品究竟让孩子做什么、与谁建立关系、由谁作决定、在什么实体上使用。

一、先把“儿童”从一个模糊标签变成具体年龄

面向 8 岁儿童的产品至少要知道三条并不相同的年龄线。中国大陆《个人信息保护法》将不满 14 周岁未成年人的个人信息列为敏感个人信息,要求特定目的、充分必要和严格保护,处理时取得父母或其他监护人同意并制定专门规则;《未成年人网络保护条例》对不满 18 周岁的内容、沉迷和网络权益另有保护。中国《个人信息保护法》第28—31条、《未成年人网络保护条例》。因此,“12 岁以下”适合做产品分龄,却不是中国儿童个人信息保护的统一法定门槛。

美国联邦 COPPA 主要围绕未满 13 岁儿童的个人信息。它看服务是否面向儿童,或者一般受众服务是否实际知道自己在收集儿童信息,而不只是首页写了“13+”没有。FTC 的 COPPA 规则及 2025 年修订、FTC 实务问答。欧盟 GDPR 第 8 条涉及的 13—16 岁,则是直接向儿童提供信息社会服务、且以同意作为数据处理依据时的监护人同意年龄;成员国可以在 13 至 16 岁之间确定门槛。它不是儿童使用 AI 的统一最低年龄。GDPR 第8条。

三地年龄数字相近,法律问题却不同。把一个市场的“13 岁”直接复制到全球注册页,既可能漏掉义务,也可能为了核验年龄额外收集身份证、人脸等本来不需要的数据。更稳妥的做法是先按功能确定需要知道的是“是否未满某年龄”,还是精确生日,再选择与风险相称的年龄保障办法。

二、有界任务,比“一个会聊天的朋友”更容易说明价值

第一版绘本工具有清楚的任务:让孩子在家长陪同下选择角色、主题和场景,获得六页图文草稿,再共同检查和修改,决定是否保存。产品团队可以测试图文是否一致、内容是否合龄,孩子能否表达自己的想法并指出错误,家长能否有效审阅,而不能把模型写出的字数当作孩子的创作能力。比较对象包括亲子自制绘本、现成创作模板和不使用 AI 的共创活动;AI 的价值须由这些比较证明,不能由“生成得很快”替代。若允许孩子选用他人角色素材或上传资料,建议在输入与成品环节筛查他人作品、肖像及家庭私人信息;这是一项产品风控建议,并非法律指定的逐页审稿流程。《生成式人工智能服务管理暂行办法》第4条要求提供和使用服务尊重知识产权及他人的肖像权、隐私权、个人信息权益。办法第4条。

现有研究只能提供相邻场景的线索,不能直接证明生成绘本会提高创造力。一项北京幼儿园、148 名约 5—6 岁儿童的结构化阅读对话实验发现,效果随儿童原有语言能力而变化;研究对象是阅读对话,不是儿童创作生成绘本。Cheng 等,2024。StoryBuddy 对 12 组亲子家庭的设计研究探索了人与 AI 如何分担讲故事的工作,也不能证明机器生成的图文就是孩子独立写出的作品,或成人可以退出审阅。StoryBuddy 原文。产品若希望验证儿童表达,应记录孩子提出了什么、改动了什么、怎样纠正模型,而不只是展示成品的精美程度。

这也解释了“教育”不是一张万能通行证。中国教育系统的《中小学生成式人工智能使用指南(2025 年版)》在中小学应用场景中提出,小学生不独自使用开放式内容生成功能,教师可以在课内适当用 AI 辅助教学。政府转载的指南全文。它是学校应用的指引,不等于一切家庭绘本生成工具的统一处罚条款。但如果产品进入学校,谁选择创作任务、谁审查生成图文、谁接收学生素材与作品、谁给最终评价,就必须说明白。

美国同样不能把“学校采购”当作儿童数据的空白支票。FTC 允许学校在限定教育用途内代父母同意 COPPA 所需事项,但不能据此授权广告、商业营销或与教学无关的二次利用;教育记录还可能另受 FERPA 约束。FTC 教育技术政策声明。家长版和学校版即使使用同一模型,数据用途和授权路径也应分开设计。

三、当机器开始“记住我”,产品改变的不止是存储期限

第二版记住孩子喜欢的故事角色、画风和创作偏好,看似只多了一项个性化功能,却可能把一次作品变成长期画像。若还允许上传涂鸦或照片,草稿、上传素材、孩子的修改记录乃至照片中的人脸与家庭环境,都可能进入儿童档案;若不提供上传功能,就不应假定这些数据已经被收集。团队要回答哪些数据确实服务绘本创作、保留多久、是否用于训练或广告、谁可查看、怎样删除。中国《个人信息保护法》要求在处理敏感信息、自动化决策、委托处理或向境外提供个人信息前做个人信息保护影响评估;《未成年人网络保护条例》还要求处理未成年人个人信息者每年审计并及时报告审计情况。中国《个人信息保护法》第55—56条、《未成年人网络保护条例》第37条。

如果孩子的创作提示、涂鸦或照片被送到海外模型,不能把“用户不足十万人”当成当然豁免:中国 2024 年跨境规则中的该数量豁免明确不含敏感个人信息,而不满 14 岁儿童个人信息本身属于敏感信息。具体应走何种出境机制,仍取决于处理者身份、数据量、特定场景豁免及告知、单独同意和影响评估等条件。《促进和规范数据跨境流动规定》第5、7—10条。

在受 COPPA 约束的美国服务中,若绘本创作素材包含儿童个人信息,只能在实现特定收集目的的合理必要期限内保留,不能因为可能用于将来训练就无限期保存。COPPA §312.10。若后续加入儿童配音,美国 COPPA 对声音数据的保护同样需要考虑。FTC 对 Alexa 的案件以同意令结束,涉及儿童语音、位置数据保存和删除的指控;它提示删除必须覆盖录音、转录、备份和供应商流程,但同意令不等于法院审判确认了每一项指控。FTC Alexa 案件页。创作素材和配音“可保存”与“应当保存”是两回事。

四、关系功能,是最容易被低估的版本更新

第三版让绘本里的故事角色每天主动问候孩子,并能接着昨天的对话继续聊。家长可能觉得贴心,产品经理可能看见留存率;法律看到的却可能是另一种服务。中国自 2026 年 7 月 15 日实施的《人工智能拟人化互动服务管理暂行办法》,适用于向境内公众提供、模拟自然人人格与沟通方式的持续性情感互动。不涉及这种互动的知识问答、学习教育等不在该办法范围内。因此,不能说所有有角色的 AI 都被禁止,也不能靠“学习助手”这个名称排除实际的陪伴功能。办法第2、14条。

该办法的界线很清楚:不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务。给不满 14 岁儿童提供其他拟人化互动服务,须取得监护人同意;还要建立未成年人模式,支持现实提醒、使用时长和角色/消费控制,并评估上线等情形的安全风险。监护人同意不能把被禁止的虚拟亲密关系变成允许提供的产品。即使产品没有达到该办法的“持续性情感互动”门槛,生成式服务的防未成年人依赖义务、内容安全与儿童数据规则仍可能适用。拟人化互动办法第14、22条、《生成式人工智能服务管理暂行办法》第10条。

欧盟没有一条“禁止全部儿童 AI 朋友”的统一现行条款。AI Act 禁止满足法定构成要件的操纵、欺骗或利用年龄弱点行为,关键在于是否实质扭曲行为并造成或合理可能造成显著损害;直接与人互动的 AI 透明告知义务则已于 2026 年 8 月适用。AI Act 现行文本。欧盟在 2026 年 9 月提出的 EU KIDS Act 拟进一步规范陪伴机器人,但截至本文核验日仍是立法提案。提案 COM(2026)681。

美国则要按州拆开看。加州 SB 243 已对符合定义的 companion chatbot 设透明告知、自伤响应和已知未成年人使用提醒等要求;加州针对特定实体儿童陪伴玩具的 SB 867 已签署;该法针对供未满 16 岁玩耍、包含法定陪伴聊天机器人的实体玩具,其商用禁令按通常生效规则预计自 2027 年起适用,不能倒写成今天所有 AI 玩具都被禁。加州 SB 243 立法记录、SB 867 签署公告。Character.AI 相关诉讼涉及一名 14 岁少年,法院先允许部分诉请继续推进,后由当事人和解;这些程序事实不等于法院认定 AI 造成损害或平台违法。法院驳回动议裁定、结案命令。

关系设计值得问的具体问题是:故事角色会不会要求孩子保守秘密?它会不会在孩子想离开时挽留?会不会把情绪脆弱时的对话变成付费升级入口?会不会在危机时假装自己能够替代真人帮助?这些问题既是法律测试,也是产品定位测试。

五、把建议交给 AI,和把决定交给 AI,是两种产品

第四版根据孩子的创作过程和绘本作品,输出“表达能力”或“想象力”评分。如果评分只用于家庭里提示下一次怎么创作,与它进入学校正式评价、分班或升学判断,风险显然不同。欧盟 AI Act 的教育高风险分类聚焦入学、学习结果评价(包括据此引导学习过程)、教育层级判断、考试违规监控等列明用途;普通家庭绘本生成工具不会仅因面向学生自动变为高风险系统。2026 年正式修法已调整时间:Annex III 教育等高风险系统的主要义务自 2027 年 12 月 2 日起适用,嵌入特定受第三方符合性评估产品的 AI 另有 2028 年 8 月 2 日节点,不能继续沿用旧版统一时间表。AI Act 第6条及附件III、Regulation (EU) 2026/1744。

无论是否正式归为高风险,儿童理解“评分”往往比成年人更容易把它当成权威结论。模型可能代写文本、决定画面构图;若不区分孩子的选择与修改和模型的产出,评分甚至不能测量孩子自己的表达或想象力。团队至少要验证错误评分如何申诉、教师能否推翻、数据是否代表真实能力,以及不同语言和发展阶段的儿童是否被系统性低估。把评分改名叫“成长建议”,不改变它在学校实际用于分流时的作用。

六、毛绒外壳不会把云端服务变成普通玩具

第五版把绘本角色延伸为会说话的实体玩具后,麦克风、扬声器、电池、无线连接、预装应用和云端模型都变成产品的一部分。中国网信部门曾通报:部分儿童智能手表的语音问答传播有害信息,并对相关企业约谈、处罚;通报没有逐项公开处罚决定书,因此它说明监管关注方向,不构成所有智能玩具已违法的结论。2024 年官方典型案例通报。实体安全认证、内容审核和儿童数据保护应分别验收,不能以其中一张证书代替全部。

欧盟玩具安全、联网/无线产品与数据保护规则也要分别判断。新的欧盟玩具安全条例已经生效,但数字产品护照等主体要求到 2030 年 8 月才适用;AI Act 的产品高风险路径还要满足安全部件或产品本身及第三方符合性评估等要件,并非“会说话的玩具”一律高风险。欧盟玩具安全条例说明、AI Act 第6条。美国还要看 CPSC 玩具安全要求及各州规则。CPSC 玩具安全指南。

英国的 Children’s Code 会关注可能被未成年人访问的联网服务和玩具,但英国 2026 年关于进一步限制社媒及聊天机器人的法律目前主要是授权后续法规,不能直接写成已全面禁止。ICO Children’s Code、社媒访问限制授权条款、AI 服务相关授权条款。澳大利亚自 2025 年 12 月实施的是特定社交媒体的未满 16 岁账号限制,不是对所有 AI 服务的统一禁令;能生成限制级内容的 AI 陪伴服务另需按内容安全规范判断成年年龄保障。eSafety 社媒年龄限制说明、相关内容安全规范。

对创业公司而言,可以先确定孩子和家长要完成的有限创作任务,保留退出和纠错的权利,让家长、教师或专业人员知道自己何时必须接手;每次加上偏好记忆、主动对话、能力评分、作品公开分享或实体玩具,就重新画一次数据流、关系边界和责任图。这会让产品价值与合规成本在设计阶段同时可见。

有相关问题?

从业务背景,以及你需要厘清的问题开始。

开始交流