美国联邦调查局（FBI）指控一名美国男子制作了10，000多张儿童色情和虐待图像，据称他使用流行的人工智能工具生成了这些图像。当局还指控这名42岁的男子史蒂文·安德雷格(Steven Anderegg)在Instagram上向一名15岁的男孩发送色情的人工智能图像。

图源备注：图片由AI生成，图片授权服务商Midjourney

检察官在周一公布的一份起诉书中表示，安德雷格制作了大约13，000张“裸体和半裸青春期前儿童的超现实图像”，这些图像通常描绘儿童触摸生殖器或被成年男性性虐待。据称，这名威斯康星州男子笔记本电脑的证据显示，他使用了流行的Stable Diffusion AI模型，该模型将文本描述转换为图像。

安德雷格的指控是在国家失踪和受虐儿童中心（NCMEC）去年收到两份报告之后提出的，这些报告标记了他的Instagram帐户，这促使执法官员监控他在社交网络上的活动，从Instagram获取信息并最终获得搜查令。根据对他的起诉书，当局没收了他的笔记本电脑，发现了数千张生成式人工智能图像，以及使用“极其具体和明确的提示”来创建辱骂性材料的历史。

安德雷格面临四项罪名，即创建、分发和拥有儿童性虐待材料以及向16岁以下儿童发送露骨材料。如果罪名成立，他将面临最高约70年的监禁，据404媒体报道，此案是联邦调查局首次指控某人生成人工智能儿童性虐待材料。上个月，佛罗里达州的一名男子因涉嫌拍摄邻居孩子的照片并使用人工智能用照片创建色情图像而被捕。

儿童安全倡导者和人工智能研究人员长期以来一直警告说，恶意使用生成式人工智能可能会导致儿童性虐待材料激增。2023年，向 NCMEC 提交的在线虐待儿童的报告比上一年增加了约12%，部分原因是人工智能制作的材料急剧增加，有可能压倒该组织标记潜在儿童性虐待材料 （CSAM） 的提示线。

“NCMEC对这种快速增长的趋势深表关切，因为不良行为者可以使用人工智能根据真实儿童的任何照片创建深度伪造的色情图像或视频，或者生成描绘计算机生成的儿童从事图形性行为的CSAM，”NCMEC的报告写道。

生成式人工智能的蓬勃发展导致了未经同意的深度伪造色情内容的广泛创建，这些色情内容针对从一线名人到普通普通公民的任何人。人工智能生成的未成年人图像和深度伪造图像也在学校中流传，其中一起案件导致佛罗里达州的两名中学生被捕，他们制作了同学的裸照。一些州已经通过了法律，禁止在未经同意的情况下生成露骨图像，而司法部则表示，生成儿童的性人工智能图像是非法的。