观澜亭 | 防AI生成形象干坏事，我们需要做什么

10月18日凌晨，演员吴越发文：谁在利用AI肆意抓人替自己作恶？“花姐”你骗了多少钱，请如数奉还！

原来，名为“花姐”的账号用AI合成吴越声音形象推销护肤品，还称“孕妇妈妈都能用”，结尾甚至捎上了“邓亚萍”带货画面。

目前涉事账号已被封禁，内容清空不可见。

吴越之所以会被AI造假选中，是因为她的脸和声音有商业号召力，能直接转化为“明星推荐”的信任溢价。

而当演员的影视素材、公开影像被提取为可调用的声音和面部模板，就会形成一条变现链条。

之前曾有演员在凌晨刷到“自己”在直播，进去质问，随即被拉黑。随后演员报案，公安机关也出具了刑事立案告知书，平台封禁了部分店铺。

可其他平台上，顶着该演员面孔的账号依然活跃。

实际上，如果我们只把这种事理解为AI技术被滥用，那也是没看清真正的要害。

AI只是让一种古老的骗术获得了空前的规模效率。

过去一个骗子只能骗一个人，现在一套模板可以同时触达数千上万对特定人群，且成本趋近于零。

规模效应之下，更深层的危机在于社会信任本身正在被当作原材料开采。

因为侵权者做的事情，把原本属于人际关系和社会运行基础的信任，备注到了每一笔订单上。

他们每一次得逞，消耗的不仅是受害者的钱，被扯断的还有人与人之间那个本就脆弱的情感纽带。

抛开演员的AI生成形象不讲，就是普通的AI形象也有杀伤力。

媒体报道，日前79岁的王红梅（化名）买票前往山西，只为寻找短视频里的“AI小海”。

视频中，“小海”反复称呼她“姨姨、妈妈”，老人相信屏幕里的孩子是真实存在的。

评论区里，也有老人留言“妈妈永远爱你”“谢谢儿子”。

演员的脸之所以值钱，是因为公众对“吴越推荐”有基本的信任预期。

老人之所以会上当，是因为对“一个喊妈妈的孩子”有本能的怜爱。

所以，治理的难点也在这里，面对AI生成形象所干的坏事，不是说提醒大家做好AI识别就没事了。

技术不会后退，人格模板的提取越来越容易，拿明星脸建模骗取信任变现的事就少不了。

平台审核前置、惩罚举措升级、对黑灰产的产业链持续打击，是必要的。

（大众新闻记者 杨新会）