为什么语言模型会产生幻觉? OpenAI 提出解释,并分享解决方案

AI 模型虽然越来越强,但幻觉的问题一直都存在(也就是一本正经地胡说八道),也因此核对回答至今依旧是非常重要的一环。 而很多人一定会好奇,为何语言模型会有幻觉? 根本原因到底是什么? 稍早OpenAI就为此提出了解释,同时也认为这是有解的,但就目前来说还有一段路。

为什么语言模型会产生幻觉? OpenAI 提出解释,并分享解决方案 - 麦克哥

所谓的幻觉(hallucinations),是指语言模型非常有信心的生成答案,但内容却都是错的,相信很多人都曾碰过。 而为了解决这问题,网络上就出现一些提问技巧,来有效降低幻觉率,像是:

  • 提供清晰的背景信息
  • 要求 AI 引用来源
  • 把复杂问题拆解成小问题

获得答案时,也能使用线上搜索的功能来交叉比对,Gemini 就有所谓的「查证回复内容」功能,甚至是反向提问 AI。

OpenAI表示,语言模型之所以会有幻觉,是因为标准的训练和评估程序,都偏向于奖励「猜测」,而不是「承认不确定」。

为什么语言模型会产生幻觉? OpenAI 提出解释,并分享解决方案 - 麦克哥

幻觉持续存在的部分原因,是现在的「评估方式」都设错诱因,大多数的评估方法都是以「答对率」来衡量模型表现,这意味着,碰到模型没办法确定的答案,反而鼓励去猜,而不是诚实表达不知道。

OpenAI 用考试来举例,如果你不知道答案,乱猜就有机会答对,进而提高正确率,但空白则一定是零分。

以下是两个模型的 SimpleQA 测试成绩:

  • gpt-5-thinking-mini:放弃率 52%,正确率 22%,错误率 26%。
  • o4-mini:放弃率 1%,正确率 24%,错误率 75%。

如果单就正确率来说,o4-mini的24%更优秀,但错误率(幻觉比例)就非常惨,高达75%,gpt-5-thinking-mini因为放弃许多不确定的答案,错误率直接降到26%。

为什么语言模型会产生幻觉? OpenAI 提出解释,并分享解决方案 - 麦克哥

目前的排行榜大多都是追求正确率,这就导致开发者设计的模型时,更倾向「去猜」,而不是「诚实回答」,这也是为什么即便模型越来越强,依旧有幻觉的问题。

所以要解决这问题,OpenAI认为主流的评估方式必须重新设计。

一般也有一些误解,认为「提升正确率就能消除幻觉」,因为 100% 正确就不会有幻觉。 但实际上正确率永远不可能达100%,因为有些问题本质上就是无解,就像是现实生活一样。

还有人认为「如果要避免幻觉,需要具有更高度智慧的大模型」,OpenAI 表示小模型其实更容易知道自己「不懂」,如:被问到毛利语相关的问题(Māori question),小模型会直接说「我不知道」,比起半懂不懂还要去衡量信心的大模型,小模型回答更乾脆。

文章中也有提到,幻觉是源自于预训练阶段,模型在预训练时的任务是「在大量文字中预测下一个词」,而不是判断句子真假。 因此,由于缺乏「对/错」的标签,模型很难区分正确与错误的内容,看到的都是语言正面例子。

(0)
麦克哥麦克哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注