1.3.1 机器幻觉

大模型尽管取得了显著的成功，但偶尔会产生看似合理但与用户输入、先前生成的上下文或事实知识偏离的输出，这种现象被称为机器幻觉。在大模型出现之前，幻觉已经在NLG领域广泛出现，通常指生成与提供的源内容毫无关联或不正确的内容。这个定义已经被扩展到大模型领域。

1.大模型幻觉的分类

大模型背景下的幻觉大致可分为三类：

1）输入冲突幻觉，即大模型生成与用户提供的源输入不符的内容。

2）上下文冲突幻觉，即大模型生成与其自身先前生成的信息冲突的内容。

3）事实冲突幻觉，即大模型生成不符合已建立的现实世界知识的内容。

2.大模型幻觉的主要来源

综合分析大模型的生命周期不同阶段的特点，可以得出大模型幻觉的主要来源。

1）大模型缺乏相关知识或内化了错误的知识。在预训练阶段，大模型从大量的训练数据中积累了大量知识，这些知识存储在模型参数中。当要求回答问题或完成任务时，如果大模型缺乏相关知识或已经内化了来自训练语料库的错误知识，它通常会表现出幻觉。例如，研究发现大模型有时会误解偶然的相关性，比如位置接近或高度共现的关联，将其视为事实知识。此外，人类生成的语料库中也存在幻觉（如过时、有偏见或虚构的表达），大模型容易复制甚至放大这种幻觉行为。

2）大模型有时会高估自己的能力。研究发现，大模型的正确和错误答案的分布熵可能相似，这表明大模型在生成不正确的答案时与生成正确答案一样自信。这种过度自信可能导致大模型以不必要的确定性制造答案。

3）问题对齐过程可能诱发大模型幻觉。大模型预训练后会进行对齐，在这个过程中大模型会进一步训练，以使其响应与人类偏好一致。然而，当大模型在对齐过程中接受在预训练阶段尚未获得的知识的指示时，实际上就是一种不对齐的过程，会“鼓励”大模型产生幻觉。此外，有时大模型可能会生成有利于用户观点而不是正确或真实答案的响应，这也可能导致幻觉。

4）大模型采用的生成策略存在潜在风险。大模型以顺序方式生成响应，一次输出一个Token。研究发现，大模型有时会过分坚持早期的错误，即使它意识到这是不正确的。换句话说，大模型可能更喜欢为了自身一致性而堆积幻觉，而不是从错误中恢复。这被称为幻觉堆积现象。此外，一些研究强调，基于采样的生成策略（如top-p和top-k）引入的随机性也可能是幻觉的潜在来源。

3.危害与挑战

幻觉严重损害了大模型在现实世界场景中的可靠性。例如，大模型有可能制造出错误的医学诊断或导致实际生活风险的治疗计划。虽然传统的NLG环境中的幻觉问题已经得到广泛研究，但理解和解决大模型领域的幻觉问题仍面临着独特的挑战。

与为特定领域任务精心策划数据不同，大模型的预训练使用来自网络的数万亿个Token，难以消除虚构、过时或有偏见的信息。通用大模型在跨任务、跨语言和跨领域设置中表现出色，但这为全面评估和缓解幻觉问题带来了挑战。大模型可能生成最初看似高度合理的虚假信息，这使得模型甚至人类难以检测幻觉。

4.解决策略

要解决AI大模型的幻觉问题，需要采取一系列的策略。

首先，需要在模型的训练阶段引入更多的数据，以减少模型对特定数据模式的过度拟合；其次，使用更强大的模型架构和优化算法，以提高模型的泛化能力和鲁棒性；最后，对模型的输出进行适当的后处理和验证。

除了这些技术性的解决方案外，也需要从设计和伦理的角度来解决幻觉问题。例如，应该考虑如何设计出更加透明和可解释的大模型，以便用户能够理解模型的运作方式和输出结果。此外，还需要制定相应的伦理规范和法规，以确保AI大模型的应用不会对人类或其他生物造成负面影响。

总之，AI大模型的幻觉问题是一个复杂的问题，需要采取多种策略和技术来解决。大模型的知识记忆是模糊的，同时缺少判断知识有效性的机制，所以需要外部知识增强。通过不断研究和实践，相信人们能够更好地解决这个问题，从而使AI大模型在各个领域发挥更大的作用，为人类社会带来更多的便利。