Day: August 30, 2024

引言 📚 在人工智能领域，语言模型（Language Models, LMs）在许多任务中展现出了强大的能力，尤其是在数学推理方面。然而，如何高效地提升小型语言模型在复杂推理任务中的表现依然是一个未被充分探索的问题。我们提出了一种名为“DPO-增强自我训练（DPO-ST）”的方法，该方法结合了自我训练和直接偏好优化（Direct Preference Optimization, DPO），旨在提高小型语言模型的链式思维推理能力。与依赖于大型封闭模型的传统方法不同，我们的方法通过模型自身的生成数据进行学习，不仅提升了性能，还显著降低了计算成本。 背景 📖 数学文字问题求解 数学文字问题求解是一项需要将自然语言转化为计算过程的任务，通常可以表述为一个序列到序列的任务，其中输入是一个问题，输出是推导出答案的推理过程。为了解决此类问题，语言模型需要在大量高质量的标注数据上进行训练。然而，获取这种数据既昂贵又耗时，因此自我训练和知识蒸馏成为改善模型性能的两种主要策略。 自我训练 自我训练是一种半监督学习方法，通过利用模型自己生成的伪标签来增强模型的学习能力。具体而言，首先用带标注的数据训练一个教师模型，然后使用该模型为未标注数据生成伪标签，最后用标注数据和伪标签一起训练学生模型。尽管这一方法在许多自然语言处理任务中表现良好，但其效果依赖于伪标签的质量。 直接偏好优化 直接偏好优化（DPO）是一种新兴的优化方法，通过直接对模型进行微调，来提升其与人类偏好的匹配度。与传统的强化学习方法不同，DPO避免了对奖励模型的显式训练，这样可以直接利用人类偏好数据来指导模型的学习过程。这一方法的引入为自我训练提供了新的视角，使得模型能够在每次迭代中生成更高质量的伪标签。 方法论 🔍 DPO-增强自我训练 我们的DPO-ST方法由两个主要部分组成：热身阶段和迭代步骤。热身阶段通过在标注数据上对基础模型进行微调，确保模型能够处理基本的数学问题。随后在迭代步骤中，分别进行DPO步骤和自我训练步骤。 热身阶段 在这一阶段，我们对基础模型进行监督微调，使其能够生成合理的推理过程。微调后，我们假设模型能够处理某些数学问题，并生成相应的推理和答案。 迭代步骤 通过这种方式，我们不断提升模型的推理能力，同时有效利用自身生成的数据，避免了对大型封闭模型的依赖。 与外部计算器的批量解码结合 在推理过程中，整合外部计算器可以显著提高模型的数学推理能力。我们提出了一种高效的方法，以支持更大的推理批量大小，通过对模型生成的输出进行修改，从而实现更快速的推理。 实验结果 📊 实验设置 我们在多个数学推理任务上评估了DPO-ST方法的有效性，主要基于GSM8K数据集。实验结果显示，DPO-ST方法在多项任务中均优于传统的自我训练和监督微调方法。 [...]