在生成式AI技术爆发式应用的背景下，基于大模型的深度伪造（Deepfake）能力正被部分商家恶意利用。通过AI捏脸、语音克隆及视频合成等技术，不法分子批量制造虚假名人形象账号，在直播电商领域实施虚假营销。这类行为不仅侵犯肖像权，更严重扰乱了依托算力基础设施构建的数字经济秩序。
网信部门披露的典型案例显示，"百货超市小店"等账号通过AI芯片驱动的伪造系统，模仿知名人士形象推销商品。这种行为本质上是对AI算力资源的滥用，暴露出当前AI应用在身份认证和内容审核环节的技术短板。据统计，涉事平台已清理违规内容8700余条，处置规模创下同类行动新高。
此次治理特别强调平台主体责任，要求企业升级审核算法并优化大模型风险识别机制。从产业角度看，这反映出AI技术双刃剑特性——GPU等硬件算力的普惠化在降低技术门槛的同时，也带来了新型监管难题。