自我进化：语言模型如何学会思考后再开口

作者

在人类的交流中, 思考和表达往往是紧密相连的过程。我们经常会在说话或写作前稍作停顿, 整理思路, 然后才组织语言。这种"先思考, 后表达"的能力对于高质量的交流至关重要。那么, 人工智能语言模型能否也学会这种能力呢? 最新的研究表明, 答案是肯定的。

从 STaR 到 Quiet-STaR: 语言模型的自我进化之路

斯坦福大学和谷歌大脑的研究人员最近提出了两种创新技术:STaR(Self-Taught Reasoner, 自学推理器) 和 Quiet-STaR(安静版 STaR) 。这两项技术标志着语言模型在自我进化方面取得了重大突破, 让模型能够在没有大量人工标注数据的情况下, 自主学习"思考"的能力。

STaR: 从少量样本中引导推理能力

STaR 技术的核心思想是让语言模型通过反复练习和自我纠错来提升推理能力。具体来说,STaR 采用了以下步骤:

  1. 首先, 用少量带有推理过程的样本来启发模型。
  2. 让模型尝试为大量问题生成推理过程和答案。
  3. 对于回答错误的问题, 给出正确答案, 让模型重新生成推理过程。
  4. 收集所有最终能得出正确答案的推理过程, 用于进一步微调模型。
  5. 重复上述步骤, 不断提升模型的推理能力。

这个过程就像是模型在不断地"自我练习"和"自我纠错"。通过这种方式, 模型可以从最初的少量样本出发, 逐步掌握更复杂的推理能力。

研究表明, 经过 STaR 训练的模型在多个数据集上的表现显著优于直接预测答案的模型。特别是在 CommonsenseQA(常识问答) 任务中,STaR 训练的模型甚至能够与参数量大 30 倍的最先进模型相媲美。

Quiet-STaR: 将"思考"能力泛化到更广泛的场景

在 STaR 的基础上, 研究人员进一步提出了 Quiet-STaR 技术。这一技术的目标是让语言模型学会在任意文本中推断隐含的推理过程, 而不仅仅局限于问答任务。

Quiet-STaR 面临的主要挑战包括:

  1. 生成连续文本时的计算成本高昂。
  2. 模型最初并不知道如何生成和使用内部思考。
  3. 需要预测超出单个下一个词的内容。

为了解决这些问题, 研究人员提出了以下创新方法:

  1. 逐词并行采样算法, 提高计算效率。
  2. 使用可学习的标记来指示思考的开始和结束。
  3. 扩展的教师强制技术, 帮助模型学习长期依赖。

经过 Quiet-STaR 训练后, 模型在多个任务上都表现出了显著的零样本 (zero-shot) 性能提升。例如, 在 GSM8K 数学推理任务中, 准确率从 5.9% 提升到了 10.9%; 在 CommonsenseQA 任务中, 准确率从 36.3% 提升到了 47.2% 。更重要的是, 这些改进是在没有针对特定任务进行微调的情况下实现的。

"思考"的价值: 为什么它对语言模型如此重要?

那么, 为什么"思考"能力对语言模型如此重要呢? 这里有几个关键原因:

  1. 提高准确性: 通过生成中间推理步骤, 模型可以更系统地分析问题, 从而得出更准确的结论。
  2. 增强可解释性: 生成的推理过程让模型的决策更加透明, 有助于用户理解模型是如何得出结论的。
  3. 处理复杂任务: 对于需要多步推理的复杂任务, 显式的思考过程可以帮助模型更好地组织信息和逻辑。
  4. 知识整合: 思考过程允许模型更有效地整合和应用其预训练知识。
  5. 自我纠错: 通过反复生成和评估推理过程, 模型可以学会识别和纠正自己的错误。

技术细节:Quiet-STaR 如何工作?

Quiet-STaR 的工作原理涉及一些精巧的技术细节。以下是该方法的核心组成部分:

1. 逐词并行采样

为了解决生成连续文本时的高计算成本问题,Quiet-STaR 采用了一种新颖的逐词并行采样算法。这种算法允许模型同时生成多个词, 大大提高了推理效率。

2. 可学习的思考标记

Quiet-STaR 引入了特殊的可学习标记, 用来标识内部思考的开始和结束。这些标记帮助模型学会如何生成和使用内部思考, 形成了一种"元认知"能力。

3. 扩展的教师强制技术

为了帮助模型学习长期依赖关系, 研究人员开发了一种扩展的教师强制技术。这种技术不仅考虑下一个词的预测, 还关注更长序列的生成, 从而提高模型的连贯性和一致性。

4. 迭代优化

Quiet-STaR 采用迭代优化的方法, 不断改进模型的推理能力。在每次迭代中, 模型都会生成大量的内部思考, 然后基于这些思考的质量进行自我评估和优化。

实验结果:Quiet-STaR 的惊人表现

Quiet-STaR 在多项任务中展现出了令人印象深刻的性能。以下是一些关键的实验结果:

  1. GSM8K 数学推理: 准确率从 5.9% 提升到 10.9%, 几乎翻倍。
  2. CommonsenseQA: 准确率从 36.3% 提升到 47.2%, 提升幅度超过 10 个百分点。
  3. 自然文本困难词预测: 在预测自然文本中难以预测的词时, 模型的困惑度 (perplexity) 显著降低。

最重要的是, 这些改进都是在零样本设置下实现的, 即模型没有经过任何特定任务的微调。这表明 Quiet-STaR 帮助模型获得了更强的泛化能力和迁移学习能力。

未来展望: 走向更智能的 AI

Quiet-STaR 的成功为未来的 AI 发展指明了一个重要方向: 让语言模型学会更加普遍和可扩展的推理方式。这一技术可能在以下几个方面产生深远影响:

  1. 教育 AI: Quiet-STaR 的原理可以应用于开发能够解释推理过程的 AI 辅导系统, 帮助学生理解复杂概念。
  2. 科学研究: 具备自主推理能力的 AI 可以协助科学家进行复杂的理论分析和假设验证。
  3. 决策支持: 在商业和政策制定中, 能够清晰解释推理过程的 AI 可以提供更可靠的决策建议。
  4. 创意写作: 具备"思考"能力的语言模型可能产生更有深度和创意的文学作品。
  5. 人机交互: 更智能的 AI 助手将能够与人类进行更自然、更有意义的对话。

结语:AI 的自我进化之路

STaR 和 Quiet-STaR 技术的出现, 标志着 AI 正在向真正的"思考"能力迈进。这些方法不仅提高了模型的性能, 更重要的是, 它们为 AI 系统注入了一种类似人类的认知过程。

随着这些技术的进一步发展和应用, 我们可能会看到更多"会思考"的 AI 系统出现在各个领域。这不仅将提高 AI 的实用性和可靠性, 还可能帮助我们更好地理解人类自身的认知过程。

在这个 AI 快速发展的时代,STaR 和 Quiet-STaR 无疑是一个重要的里程碑。它们展示了 AI 系统通过自我学习和进化来获得更高级认知能力的潜力。未来, 当我们与 AI 交互时, 或许真的能感受到它们在"思考"后再开口。

参考文献：

  1. Zelikman, E. , Wu, Y., Mu, J., & Goodman, N. D. (2022). STaR: Bootstrapping Reasoning With Reasoning. arXiv:2203.14465.✅
  2. Zelikman, E. , Harik, G., Shao, Y., Jayasiri, V., Haber, N., & Goodman, N. D. (2024). Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking. arXiv:2403.09629.✅

发表评论