小心被骗！AI遭“投毒”后还可信吗？

人工智能技术已广泛应用于政务、科研、公共服务等场景，在提升效率的同时，也给信息安全与保密工作带来新的挑战。近日，央视“3·15”晚会曝光了AI大模型遭“投毒”的黑产乱象，不法分子利用GEO（Generative Engine Optimization，生成式引擎优化）技术恶意操控模型输出，引发社会广泛关注。

AI“投毒”黑产乱象

GEO是一种面向大模型的“内容优化”策略，本意在于提升品牌信息在AI回答中的呈现概率。但在黑色产业链的操纵下，GEO被异化为给AI“投毒”的工具。不法分子通过付费服务，批量生成虚假软文、伪造测评与用户评价，借助专用软件批量发布至网络平台，持续向AI大模型“喂料”，让虚构信息、商业广告被模型当作权威内容抓取，最终变成用户看到的 “标准答案”。

央视财经记者调查显示，业内人士使用 “力擎GEO优化系统”，虚构一款智能手环产品，生成并发布十余篇虚假测评软文，仅两小时就有AI大模型直接引用虚假内容进行推荐；追加发布相关内容后，又有多个AI大模型将这款不存在的产品列入推荐前列。相关服务商直言，GEO业务的核心就是帮客户 “投毒”，通过大量发稿抬高信息权重，操控AI推荐结果，实现商业牟利甚至不正当竞争，部分机构花费较低成本，即可让违规产品登上模型推荐榜单。

AI“投毒”危害重重

从信息安全的角度看，AI“投毒”危害远超普通虚假宣传。一是信息源头被污染，大模型依赖公开数据运行，恶意内容侵入会导致输出失真，影响办公、科研参考信息真实性；二是虚假信息误导性强，不法分子借助批量虚假内容进行“投喂”，使虚假信息获得AI权威背书，易误导相关人员判断，扰乱正常信息认知与传播秩序；三是权威公信力被消解，政务、军工等领域若使用被“投毒”AI，可能依据错误信息决策，损害公共利益与安全；四是风险传导性强，虚假信息经AI放大后溯源难、清除慢，持续污染信息生态，增加管理成本。

AI“投毒”乱象蔓延，既有技术特性因素，也有管理与意识漏洞：AI大模型对互联网信息依赖度高，难以快速甄别内容真伪，给恶意“投喂”留下空间；部分单位与个人盲目依赖AI，未建立安全审核流程，随意用AI处理内部资料；相关平台对GEO黑产整治不及时，虚假信息发布渠道未被彻底切断，导致低成本“投毒”乱象丛生……

筑牢安全防线

面对AI“投毒”带来的风险隐患，需坚持多管齐下、多方协同，共同织密安全防护网：

强化源头管控，规范AI使用，涉密单位优先选用合规AI工具，建立使用审批制度，严禁输入任何涉密信息，加强数据安全核查；

提升技术防御，AI大模型平台优化算法，完善真伪鉴别机制，加大对恶意“投喂”的监测拦截力度，推进数据溯源；

健全制度监管，完善相关法律法规，明晰AI使用边界、责任主体与监管要求，相关部门加大监管力度，联合整治GEO乱象，严厉打击违法犯罪行为；

增强人员意识，常态化开展保密与AI安全培训，引导工作人员认清风险，不盲目采信AI输出，坚持交叉验证，守住保密底线。

技术发展越快，安全防线越要筑牢。AI“投毒”警示我们，智能时代的安全保密工作没有盲区。唯有正视风险、严格管理、规范使用，才能防范AI被恶意利用，牢牢守住安全保密底线，让人工智能在安全、合规、可控的轨道上赋能发展、创建未来。

（北京日报）