AI 在一本正经地编:怎么让它少胡说
这篇文章要解决什么问题
用 AI 查一个事实、总结一篇文档、写一段介绍——它回答得非常流畅、非常自信,看起来完全没问题。
然后你去验证,发现它引用的那篇论文根本不存在,它给的那个数据是编的,它提到的那个 API 参数名写错了。
这就是 AI 的”幻觉”——它不知道的东西,不会告诉你”我不知道”,而是一本正经地编一个出来。而且编得极其自信,语气和真的一模一样,你很难分辨。
读完这篇你能带走什么
- 理解 AI 为什么会编造(不是 bug,是概率预测的副作用)
- 2 个简单的 prompt 技巧,能降低 AI 编造的概率
- 知道哪些场景下 AI 最容易编,需要额外警惕
为什么 AI 会编造
先理解原因,后面的技巧才不是死记硬背。
AI 本质上是一个”概率预测引擎”——它不是从数据库里查答案,而是根据你给的上下文,预测”下一个最可能的词是什么”。一个词接一个词地生成回答。
这意味着:当它不知道答案时,它不会停下来,而是继续预测”如果答案存在,最可能长什么样”——然后把这个预测结果当成答案输出给你。
它没有主动暴露不确定性的默认倾向——除非你在 prompt 里明确激励它这样做。
🔑 技巧 1:给 AI 一个”不知道”的出口
这是最简单的一招。
默认情况下,AI 被设计成”有问必答”——你问什么它都会生成一个回答,哪怕它其实没有把握。你要做的就是明确告诉它:不确定的时候可以说不确定。
在你的 prompt 里加一句:
如果你不确定某个信息,请直接说”这一点我不确定”,不要猜测或编造。
或者更具体:
如果提供的材料里没有提到这个信息,请回答”原文未提及”,不要根据常识推测。
看起来很简单对吧?但效果很明显。因为这句话改变了 AI 的”采样方向”——原本它在”编一个像样的答案”和”承认不知道”之间会倾向前者(因为训练数据里大部分回答都是给出答案),你这句话把”承认不知道”的概率权重拉高了。
什么时候特别需要这句话
- 问 AI 具体的事实(人名、日期、数据、论文标题、API 名称)
- 让 AI 总结一篇你给它的文档——它可能会把文档里没有的信息混进总结
- 让 AI 对比两个东西——它可能会编造其中一个的特性来凑对比
🔑 技巧 2:让 AI 先找依据,再给答案
第一个技巧是给 AI 一个”逃生口”。这第二个技巧更进一步——强制 AI 在回答之前先做一步”找证据”的动作。
原理很直观:如果你让 AI 直接回答问题,它可能凭”记忆”(训练数据的模式)生成答案。但如果你要求它先从你给的材料里提取相关信息,再基于这些信息回答——它就被锁定在”有据可依”的范围内,编造的空间大幅缩小。
在 prompt 里这样写:
请按两步回答:
- 先从上面的材料中找到和问题相关的原文段落,逐条列出
- 然后仅基于这些段落回答问题。如果段落中没有相关信息,说”材料中未提及”
这一招在以下场景特别有用:
- 让 AI 总结或回答一篇你贴给它的长文档
- 让 AI 根据会议记录提取行动项
- 让 AI 从一份合同/规范里回答具体问题
本质上你在做的事是:把 AI 从”凭记忆自由发挥”模式切换到”开卷考试”模式。开卷考试里,它得先翻书找到依据,然后基于依据作答——编造率自然就下来了。
⚠️ AI 最容易编造的 3 个场景
最后提醒一下,以下场景 AI 的编造率最高,即使用了上面两个技巧也要自己验证:
-
具体的引用:论文标题、书名、作者名、发表年份。AI 非常擅长编造一个”看起来很真”的学术引用,格式完美但论文不存在
-
数字和数据:市场规模、用户数量、转化率、百分比。AI 给出的数字经常是”合理范围内的编造”——不离谱所以你不会怀疑,但就是不对
-
API 和技术细节:函数名、参数名、返回值格式。尤其是小众库或者最近更新的 API,AI 的训练数据可能过期了,它会用旧的信息编一个看起来对的出来
-
时效性信息:现任职务、当前价格、最新政策、近期事件。AI 的训练数据有截止日期,但它不会主动告诉你给的信息可能已经过时了
这四种场景的共同特征是:可以验证但经常被跳过。AI 给出的**具体事实(人名、数字、引用、时间敏感信息)**其实都能在原始来源里核实,只是这一步常常被省略。