新知|为什么AI有时会一本正经地胡说八道？

网友问：“我让AI帮我查资料，它说得头头是道，我一核对，有不少是编的——它是不是故意骗我？”

别冤枉它。AI真不是故意撒谎，它只是太想“给出通顺回答”了。科学家给这种现象起了个名字叫 “AI幻觉”——明明不知道答案，却要硬着头皮编一个听起来很合理的说法。

最近，OpenAI 和佐治亚理工学院的研究人员发现，即便训练数据全是正确的，AI在某些问题上也免不了犯错。这是为啥？

第一，AI是个“学舌高手”，不是“思考者”。它本质上是一套超复杂的文字预测模型——根据上文，不断预测下一个概率最高的词。比如它知道“倒拔垂杨柳”出自《水浒传》，而《水浒传》常和“武松”一起出现，于是就可能编出“武松倒拔垂杨柳”的荒唐答案。

第二，遇上冷门、模糊、细节性知识，AI只能“猜”。比如，问爱因斯坦的生日，公开资料极多，AI答得准。但问一个很少被提及的人物或细节，训练数据不足，AI拿不准又不想说“不知道”，只好硬着头皮编造。

第三，是现有的“训练机制”在鼓励它“硬答”。目前AI的训练和评分机制类似考试：答对得分，说不知道、答错基本都不得分。与其交白卷，不如蒙一个——万一蒙对了呢？研究发现，当坦诚说“不知道”和答错一样没优势时，AI更倾向于猜测。

那怎么办？科学家建议改革评分规则：答对得1分，说“不知道”给0分，答错要扣分。只有这样，AI才会愿意承认自己不知道。对你我来说，记住两件事就行：重要信息一定要核实；如果AI回答“不知道”，别生气——它没打算骗你，反而更靠谱。（于梅君）

于梅君