网信办开展AI整治行动 豆包、元宝等平台被要求限制违规内容生成

行动进展与成效

中国中央网信办近期开展"清朗·整治AI应用乱象"专项行动第二阶段，重点整治利用AI生成发布虚假信息、暴力低俗内容、假冒仿冒他人及侵害未成年人权益等问题。截至目前，专项行动已累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。

平台治理措施

在AI内容治理方面，抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台进一步强化多模态识别能力，动态扩充人脸库、声纹库及违规样本库，并加大违规账号和信息处置力度，累计发布各类治理公告46期。同时，豆包、元宝、千问、文心一言等AI平台严把原始语料审核关，严格限制违规内容输出，并强化AI生成合成内容标识要求；华为、小米、OPPO、vivo等应用商店则加强App开发者准入和上架审核，对在架应用开展抽检复测。

典型案例与处罚

专项行动期间，网信部门还通报多起典型案例，包括利用AI"魔改"经典名著、生成虚假灾害及社会热点信息、AI换脸换声假冒公众人物、批量制作暴力低俗内容、利用AI生成侵害未成年人权益的信息，以及使用AI"托管"软件从事网络水军活动等。对于违规AI产品和应用，相关部门将依法采取警告、罚款、下架或关闭等措施。