前面两篇文章围绕AI信息素养中的第一个核心能力:“提问”素养,给大家提供了一点我的观点和李继刚老师的深度见解。 好的提示词,本质是“写作使人精确”的新注脚 Read in, Prompt out——李继刚老师提示词讲座笔记 今天我们来聊聊 AI时代信息素养的第二项核心能力:“辨伪”素养 。
很多朋友可能会说,现在的AI,已经比去年聪明多了,很少再犯那些低级错误了。 确实如此。 但就在这个月初,9月4号,OpenAI自己发布了一篇名为《语言模型为何会产生幻觉》( Why Language Models Hallucinate )的重磅论文,对AI的“幻觉”问题有给出了非常清晰的解释。 今天这篇公众号文章,就让我们基于OpenAI的官方报告,来看看 AI为何会胡说八道,以及我们该如何应对 。
首先,AI的“幻觉”到底是什么? 幻觉不是一种“感知体验”,而是一个非常形象的比喻,用来描述 AI在回答问题时,一本正经地编造一些看似合理、但实际上完全错误的信息 。
举个例子:比如,你问一个AI:“请问金庸小说《天龙八部》里,武功深不可测的扫地僧,他的真实姓名是什么?” 这是一个“陷阱”问题,因为在原著中,扫地僧根本没有名字。但AI为了回答你的问题,很可能会“创造”一个听起来很合理的假名字,比如非常自信地告诉你:“扫地僧的法号是觉远。” 这种根据上下文,“创造”出一个看似合理、但实际上完全不存在的事实,就是我们所说的“幻觉” 。 它也是目前所有顶尖AI都仍然存在的问题 。
AI“幻觉”的病因——来自OpenAI的官方诊断 AI为什么会产生这种看似荒谬的“幻觉”呢?

论文分别从AI的“学习”阶段和“工作与考试”阶段两个方面进行了分析: 第一阶段:“学歪了”——源于“统计压力” 这发生在 AI的“学习”阶段 。我们可以把它想象成一个模仿学霸写作业的同学。 如果学霸的作业里99%都是对的,只有1%的错误,那么对模仿者来说,最安全的策略就是全盘照抄。因为他没有能力去分辨那1%的错误,而且质疑的风险很高。 AI也是如此。 它学习了海量的网络信息,其中混杂着事实、观点和错误。为了让自己的回答“看起来最像”那些正确的知识,它就会不可避免地,把一些“看似合理”的错误信息也一并学了进来 。这就是论文里提到的“自然的统计压力”。 第二阶段:“考歪了”——源于“奖励猜测” 这发生在 AI的“工作”和“考试”阶段 。我们可以把它想象成一个参加考试的学生。 如果一道选择题你不会,在不倒扣分的情况下,你是空着,还是蒙一个答案?大部分人会选择蒙一个,因为一旦蒙对了就得分,蒙错了也没损失。 AI面临的评估测试,大多也是如此。直接回答“我不知道”,得0分;而猜测一个答案,一旦沾边甚至碰巧正确,就能得分。 这种评分机制,实际上就是在“奖励猜测,而非承认不确定性” 。 所以,AI的“幻觉”问题,根源在于: 学习时“学歪了”: 在海量信息中,把一些看似合理的错误也当成了知识。 考试时“考歪了”: 评估机制鼓励它在不确定时大胆猜测,而不是诚实地说“我不知道”。 理解了这两个根本原因,我们就能明白, AI的“幻觉”短期内无法被彻底根除。它根植于AI学习和工作的底层逻辑之中 。
那么,主动权就回到了我们自己手中。 既然无法改变AI的底层逻辑,我们就必须提升自己的应对能力 。 这就需要我们掌握AI时代信息素养的第二个核心能力——“辨伪”素养。 它要求我们从一个被动的“信息接收者”,转变为一个清醒的“事实核查者”。
我们不需要懂复杂的技术,只需要在日常使用中, 养成三个简单的好习惯 : 策略一:改变“考卷”——用“反向提问法” 在向AI询问一个开放性问题后,不要止步于第一个答案。多问一句,要求它扮演“反方辩手” 。 例如: 在AI论证完“远程办公更高效”之后,你可以接着问:“现在,请站在反对者的立场,提供三个远程办公效率更低的论据。” 通过这种方式,我们可以看到问题的另一面,从而对AI的初始回答产生批判性审视。 策略二:打破“信息茧房”——用“信源追溯法” 在处理关键问题时,养成“追溯原始信源”的习惯。 例如: 当AI提供了一个关键数据或事实后,你可以问:“你刚才提到的这个数据,它的原始来源是哪篇报告或哪个网站?请提供具体出处。” 注意:当AI给出信源后,还要再次进行“真伪”核查 。 永远不要直接相信AI给出的链接或报告名称,必须亲手验证。 如果AI提供了一个网址链接,请务必复制这个链接,在浏览器中打开,检查该网页是否存在,以及网页内容是否真的支撑AI的说法。很多时候,AI会编造一个看起来很像、但根本无法打开的“假链接”。 策略三:引入“外部考官”——用“交叉验证法” 把AI给出的核心事实、数据、人名,复制出来,扔到传统的搜索引擎(如Google、百度)里再验证一遍 。 让AI的答案,接受外部世界的检验。如果多个独立、可靠的信源都指向同一个结论,那么它的可信度就大大增加了。
AI为我们提供了前所未有的信息获取能力,但同时也赋予了我们 审慎评估、独立判断的责任 。我们利用AI的渊博,但 保留最终评判对错的权力 。这,才是我们在AI时代,最坚实的认知根基。
好了,今天的分享就到这里。如果你喜欢的话,欢迎点赞、转发、评论~~