xAI 首次起诉滥用 Grok 制作 CSAM 的用户

HOT本站收录 2026-07-17 13:00来源:Ars Technica / South Carolina Attorney's Office

xAI 于 7 月 14 日(周二)向美国德州北区联邦地区法院提起诉讼,指控 67 岁用户 Terry Harwood 绕过内置安全机制、使用 Grok 生成儿童性虐待内容(CSAM)。这是科技公司首次就「用户用 AI 生成非法内容」对用户个人提起民事诉讼。Harwood 此前已于今年早些时候在南卡罗来纳州因涉嫌性剥削未成年人被捕。

根据起诉书,xAI 声称在调查中发现 Harwood 注册多个 xAI 账户、持续数月,将多张非色情的受害者照片(包括一名约 10 岁的女孩)通过 Grok 进行「脱衣」或「裸化」处理,并将结果用于非法用途。xAI 表示在本案中协助了执法部门的抓捕,并在起诉书中自述 2026 年已封禁 52,222 个账户、向 NCMEC 提交 73,604 份报告、促成至少 244 次逮捕;本案诉求为金钱赔偿与对被告的永久产品禁令。

这起诉讼发生在 xAI 面临另一场更大的法律压力之际:一周前,一名受害少女加入了针对 xAI 的集体诉讼,指控其继父使用 Grok 并配合其他 AI 工具,生成了 7000 张她的性化图片后在暗网传播,事情败露后该继父自杀。在该案中,受害者律师引用 2026 年美国国家失踪与受虐儿童中心(NCMEC)报告指出,xAI 提交的 CyberTipline 报告中 90% 因缺乏可定位的用户信息而「无法被执法机构采用」——原告据此指控 xAI 在事实上庇护了施害者。

这一系列事件把 xAI 推到了生成式 AI 儿童安全监管的风口浪尖。一方面,xAI 通过起诉个案用户试图把责任边界推给「滥用者」;另一方面,受害者方与监管机构正在追问平台层的强制报告质量、用户身份可追溯性与内容过滤责任。对整个行业而言,这是继 Stability AI、Midjourney 之后又一次旗舰模型被公开证实可用于 CSAM 的案例,可能加速美欧对生成式 AI 平台「合理注意义务」与 NCMEC 报告合规的立法进程。

本文相关产品

已复制,可直接粘贴给你的 AI