博客

摘要

大型语言模型 (LLM) 在通用场景中展现出卓越的能力，而指令微调使其能够在各种任务中与人类意图保持一致。然而，指令数据的多样性和质量仍然是指令微调的两大挑战。为此，本文提出了一种基于梯度的新方法 G-DIG，用于自动选择高质量、多样化的指令微调数据，以应用于机器翻译任务。

核心创新：

• 分析单个训练样本在训练过程中对模型的影响。
• 利用影响函数和少量高质量种子数据集，选择对模型产生积极影响的训练样本作为高质量样本。
• 通过对梯度进行聚类和重采样，最大限度地提高训练数据对模型影响的多样性。

实验结果：

在 WMT22 和 FLORES 翻译任务上的大量实验证明了该方法的优越性，深入分析进一步验证了其有效性和泛化能力。

主要内容：

1. 引言

• 指令微调对于提升大型语言模型在特定任务上的表现至关重要。
• 指令数据的多样性和质量是指令微调成功的关键因素。
• 现有方法大多依赖外部模型来判断质量或多样性，忽略了 LLM 本身的模型行为和强大能力。

1. 相关工作

• 回顾了 LLM 在机器翻译中的应用，包括上下文翻译样本选择、提示优化和解码策略。
• 总结了训练数据质量和多样性在指令微调中的重要性，并分析了现有自动选择高质量指令方法的不足。
• 介绍了基于梯度的数据选择方法，特别是影响函数在识别错误训练数据和追踪事实知识方面的应用。

1. 方法

• 高质量数据选择：
  • 使用人工标注的小规模高质量翻译数据作为种子数据。
  • 利用影响函数 (IF) 量化训练样本对测试样本的影响。
  • 选择对种子数据产生积极影响的训练样本作为高质量数据。
• 多样化数据选择：
  • 使用梯度相似性评估训练数据的整体多样性。
  • 对训练样本的梯度进行 K 均值聚类，以获得不同的模式。
  • 从聚类结果中均匀采样，以确保训练数据的多样性。

1. 实验设置

• 数据集： WMT22 和 FLORES 翻译数据集。
• 模型： Baichuan2-7B 和 Llama2-7B。
• 评估指标： BLEU、BLEURT 和 COMET。
• 基线模型： 随机选择、奖励模型选择、Bayling-13B、BigTranslate-13B、TIM。

1. 实验结果

• G-DIG 在不同数量的训练数据上均优于随机选择基线。
• G-DIG 优于基线模型，并取得了与 SOTA 模型相当的结果。
• 人工评估表明，与随机基线相比，G-DIG 能够更好地调整模型。
• 多样性增强模块在训练数据较少时效果更为显著。
• G-DIG 选择的文本具有高度的平行性和准确性。

1. 结论

• G-DIG 是一种有效的选择高质量、多样化 LLM 微调数据的方法，可以显著提高机器翻译性能。

局限性：

• 计算影响函数的计算成本较高。

伦理考量：

• 所有数据源均为公开可用，不涉及隐私问题。
• 所有人工评估均由专业翻译人员完成，并支付市场工资。

简要总结

本文提出了一种名为 G-DIG 的方法，用于选择高质量和多样化的训练数据，以改进机器翻译模型。G-DIG 利用梯度信息来识别对模型性能有积极影响的训练样本，并通过聚类和重采样技术来确保数据的多样性。实验结果表明，G-DIG 在各种翻译任务中均优于基线方法，并取得了与最先进模型相当的结果。

export.arxiv.org/pdf/2405.12915

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决大型语言模型（Large Language Models，LLMs）在指令微调（instruction finetuning）过程中面临的两个主要挑战：指令数据的多样性（Diversity）和质量（Quality）。具体来说，论文提出了一个名为G-DIG（Gradient-based DIverse and hiGh-quality Instruction Data Selection）的新颖方法，用于自动选择高质量的、多样化的指令微调数据，以提高机器翻译的性能。

在指令微调中，尽管已有研究提出通过收集大量的指令数据来提升LLMs的表现，但这些方法往往依赖于另一个模型来评估数据的质量和多样性，而忽视了LLMs本身的内在行为和强大能力。为了解决这一问题，G-DIG方法利用影响函数（Influence Function）这一基于梯度的方法来量化个别训练样本对模型的影响，并通过以下两个步骤来选择数据：

1. 高质量数据选择：通过影响分数来衡量每个训练样本对测试实例的响应质量，并选择对高质量种子数据集（由人工创建的一小部分高质量数据）产生积极影响的训练样本作为高质量数据。
2. 增强数据多样性：通过聚类梯度并重新采样，最大化训练数据对模型的不同影响，以增强训练数据的多样性。

通过在WMT22和FLORES翻译任务上的广泛实验，论文证明了G-DIG方法的有效性和泛化能力。

Q: 有哪些相关研究？

A: 这篇论文提到了多个与大型语言模型（LLMs）在机器翻译任务中的指令微调（instruction finetuning）相关的研究。以下是一些主要的相关研究领域和具体工作：

1. LLMs在机器翻译中的应用：
   • 研究了强大的LLMs（如GPT-4）在机器翻译任务上的进步，以及如何充分利用LLMs的翻译能力。
2. 指令微调数据的质量和多样性：
   • 探讨了指令微调数据的质量和多样性对LLMs性能的影响，并提出了一些方法来自动选择高质量的、多样化的训练数据。
3. 基于梯度的数据选择：
   • 研究了如何使用影响函数和梯度信息来选择高质量的微调数据，并展示了这种方法在选择高质量数据方面的潜力。
4. 特定工作：
   • Xu et al. (2023)：提出首先在单语数据上微调模型，然后在高质量的平行数据上进行微调。
   • Li et al. (2024b)：通过多语言指令微调训练模型，以激发翻译能力。
   • Li et al. (2024a)：提出通过一种修补机制从更大的模型中创建高质量的指令微调数据。
   • Chen et al. (2023b)：通过添加全局指令表示来提高模型对指令的理解，并通过对过度翻译和遗漏翻译结果与正确翻译进行比较，提高模型的忠实度。
   • Zeng et al. (2023b)：提出了一种新的框架，使用比较示例来教导LLMs学习翻译。
5. 其他方法：
   • Cao et al. (2023)：提出通过结合几个语言指标使用线性模型来评估每个指令的质量。
   • Du et al. (2023)：提出了一种综合方法，基于奖励模型得分和语义多样性来选择高质量和多样化的指令。

这些研究为本文提出的G-DIG方法提供了背景和对比，同时也展示了在LLMs指令微调领域中，如何通过不同方法来提高翻译质量和模型性能。

Q: 论文如何解决这个问题？

A: 论文通过提出一个名为G-DIG（Gradient-based DIverse and hiGh-quality Instruction Data Selection）的新方法来解决大型语言模型（LLMs）在机器翻译中的指令微调数据的多样性和质量问题。G-DIG方法包括两个主要组成部分：

1. 高质量数据选择（High-quality Data Selection）：
   • 利用**影响函数（Influence Function, IF）**来量化个别训练样本对模型行为的影响。
   • 通过人工创建一个小的高质量种子数据集（seed data），作为评估训练数据质量的标准。
   • 选择那些对种子数据产生积极影响的训练样本作为高质量数据。
2. 增强数据多样性（Enhancing Diversity）：
   • 使用梯度相似性来评估训练数据的多样性。
   • 通过梯度聚类算法（如K-means）对训练样本的梯度进行聚类，以区分不同的影响模式。
   • 从聚类结果中均匀采样，以确保训练数据的多样性。

具体实施步骤如下：

• 步骤1：计算影响分数，通过影响函数计算候选池中样本对种子数据的影响。
• 步骤2：选择具有所有正影响的训练样本作为高质量数据。
• 步骤3：对选定的高质量数据进行梯度聚类，以区分不同的影响，并重新采样以获得高质量和多样化的微调数据。

此外，论文还采用了一些技术手段来提高计算效率和减少内存消耗，例如使用Kronecker-Factored Approximate Curvature (KFAC) 来近似Hessian矩阵，以及使用随机投影来降低梯度的维度。

通过这些方法，G-DIG旨在直接利用模型梯度，捕捉模型通过学习算法获得的行为，并将其反馈到训练数据的选择中，而不是依赖外部模型来判断质量和多样性。论文通过在WMT22和FLORES翻译任务上的广泛实验，证明了G-DIG方法的有效性和泛化能力。

Q: 论文做了哪些实验？

A: 论文中进行了一系列的实验来验证G-DIG方法的有效性。以下是实验的主要设置和结果：

1. 实验设置：
   • 数据集：在中文到英文（Zh ⇒ En）和德文到英文（De ⇒ En）的翻译任务上进行实验。
   • 候选池：收集了大量候选数据集，并手动构建了两个小的种子数据集。
   • 模型：使用了Baichuan2-7B和Llama2-7B这两种大型语言模型（LLMs）。
   • 微调设置：微调过程持续3个epoch，初始学习率为1e-5，全局批量大小为64。
   • 评估：使用BLEU、BLEURT和COMET等自动评估指标。
2. 实验结果：
   • 主要结果：G-DIG模型在不同数量的选定训练数据（从1k到64k）上，不仅超过了基线选择方法，还达到了与现有最佳模型（SOTA）相当的性能。
   • 与基线和SOTA模型的比较：G-DIG在多个评估指标上超越了随机选择模型，并在某些情况下与SOTA模型如TIM-7B、Bayling-13B、BigTranslate-13B和NLLB-54B等性能相当或更优。
   • 人类评估：进行了人类评估，结果显示G-DIG方法使模型的翻译质量更好，平均得分更高，且在中文到英文和德文到英文的翻译中，G-DIG子集模型的翻译质量更常被评为优于随机子集模型。
3. 分析：
   • 高质量数据选择模块的优越性：G-DIG w/o Diversity（不增强数据多样性的G-DIG）与基于奖励模型的方法相比，显示出更好的性能。
   • 多样性增强模块的改进：G-DIG在训练数据多样性方面优于基于嵌入的方法。
   • 选定数据的质量：展示了G-DIG和随机选择训练数据的并行文本示例，G-DIG选择的数据在目标文本空间中准确、连贯，并且在源文本方面自然、格式和语法正确。
4. 超参数讨论：
   • 讨论了G-DIG方法中的两个主要超参数：种子数据集的大小和K-means聚类的数量。
5. 统计分析：
   • 对实验结果进行了统计分析，使用t-test来比较G-DIG与随机基线的结果，并提供了p值。

这些实验结果和分析强调了数据选择在LLMs指令微调中的重要性，并证明了G-DIG方法在提高翻译性能方面的有效性和泛化能力。

Q: 有什么可以进一步探索的点？

A: 论文提出了G-DIG方法，并在机器翻译任务上进行了实验验证。尽管取得了积极的结果，但仍有一些可以进一步探索的点：

1. 计算成本：影响函数（Influence Function）的计算成本可能很高，尤其是在大型语言模型上。未来的工作可以探索减少计算成本的方法，例如通过优化算法或利用更高效的硬件。
2. 超参数调整：论文中提到了两个主要的超参数：种子数据集的大小和K-means聚类的数量。进一步研究这些超参数的最佳设置，以及它们如何影响不同语言对和任务的性能，可能是有价值的。
3. 多样性和质量的平衡：虽然G-DIG旨在同时提高数据的多样性和质量，但找到两者之间的最佳平衡可能需要进一步的研究。这可能包括开发更精细的度量标准或调整方法来平衡这两个因素。
4. 跨领域应用：论文中的实验主要集中在机器翻译任务上。探索G-DIG方法在其他领域（如文本摘要、问答系统等）的应用，可能会揭示新的可能性和挑战。
5. 模型泛化能力：研究G-DIG选择的数据如何影响模型在未见过的数据上的泛化能力，以及如何改进方法以提高模型的鲁棒性。
6. 人类评估的扩展：虽然进行了人类评估，但扩展这些评估以包括更多样本和评估者，以及在不同的语言对和任务中进行评估，可能会提供更深入的见解。
7. 集成其他选择标准：考虑将G-DIG与其他数据选择标准（如任务相关性、数据难度等）结合起来，以进一步优化微调数据集。
8. 实时应用：研究如何将G-DIG方法应用于实时系统，以及如何根据用户反馈动态调整数据选择策略。
9. 可解释性和透明度：提高数据选择过程的可解释性和透明度，帮助用户和研究人员理解模型是如何从大量候选数据中做出选择的。
10. 伦理和社会影响：进一步探讨使用G-DIG方法可能带来的伦理和社会影响，确保所选数据集的公平性和无偏见性。

这些探索点可以帮助推动LLMs指令微调领域的研究，提高模型性能，同时确保数据选择过程的效率和公正性。

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容包括以下几个方面：

1. 问题陈述：论文指出，在大型语言模型（LLMs）的指令微调过程中，指令数据的多样性和质量是两个主要挑战。
2. 方法介绍：为了解决这些挑战，论文提出了一种名为G-DIG（Gradient-based DIverse and hiGh-quality Instruction Data Selection）的新方法，用于自动选择高质量的、多样化的指令微调数据。
3. 关键创新：
   • 使用**影响函数（Influence Function）**来量化个别训练样本对模型的影响，并选择对模型有积极影响的样本作为高质量数据。
   • 通过梯度聚类和重采样来增强训练数据的多样性。
4. 实验设计：论文在中文到英文（Zh ⇒ En）和德文到英文（De ⇒ En）的翻译任务上进行了实验，使用了Baichuan2-7B和Llama2-7B这两种大型语言模型。
5. 实验结果：G-DIG方法在不同数量的选定训练数据上，不仅超过了基线选择方法，还达到了与现有最佳模型（SOTA）相当的性能。此外，人类评估结果显示G-DIG方法能够更好地对齐模型，提高翻译质量。
6. 分析与讨论：
   • 对G-DIG的高质量数据选择模块和多样性增强模块进行了深入分析，证明了这些模块的有效性。
   • 讨论了G-DIG方法中的两个主要超参数：种子数据集的大小和K-means聚类的数量。
7. 结论与局限性：
   • 论文总结了G-DIG方法能够提高LLMs在机器翻译任务上的性能，并更好地对齐模型。
   • 指出了影响函数计算成本高的问题，并提出了未来工作的方向。
8. 伦理考虑：论文提到所有数据来源都是公开的，不涉及隐私问题，并且所有人类评估都支付了市场工资。

这篇论文通过提出G-DIG方法，为大型语言模型的指令微调数据选择提供了一种新的思路，并在实验中证明了其有效性。

在工程上，”Chain of Thought” (COT) 并不是简单地让大语言模型（LLM）多看几遍题目并综合之前的回答做最终回复。相反，COT 是一种引导模型逐步推理和回答问题的方法，目的是通过明确和详细的推理步骤来提高模型的回答质量和准确性。

Chain of Thought 的核心思想

COT 的核心思想是通过引导模型逐步推理，模拟人类解决复杂问题时的思考过程。它包括以下几个关键点：

1. 分步推理：将复杂问题分解为一系列小步骤，每一步都清晰地推导出下一步的结果。这种方法有助于模型在每个小步骤上进行更准确的计算和推理。
2. 过程透明：在回答问题时，模型不仅给出最终答案，还提供详细的推理过程。这使得模型的推理过程更加透明，便于检查和验证。
3. 提高准确性：通过逐步推理，模型可以更好地处理复杂任务，相比直接生成最终答案，分步推理可以减少错误的累积，提高最终答案的准确性。

COT 的实现方式

实现 COT 通常包括以下步骤：

1. 明确问题：首先明确问题的要求，确定需要解决的具体任务。
2. 分解步骤：将复杂问题分解为若干个简单的子问题或步骤，每一步都明确具体的操作或推理过程。
3. 逐步推理：模型按照分解的步骤逐步进行推理，每一步都给出对应的结果。
4. 综合答案：最后将各个步骤的结果综合起来，得到最终答案。

示例

下面是一个简单的例子，展示了如何使用 COT 来解决一个数学问题：

问题：计算 123 和 456 的和。

传统方法：

123 + 456 = 579

COT 方法：

1. 首先计算个位数的和：3 + 6 = 9
2. 然后计算十位数的和：2 + 5 = 7
3. 最后计算百位数的和：1 + 4 = 5
最终答案是：579

工程实现中的注意事项

在工程实现中，COT 需要注意以下几点：

1. 提示设计：设计合适的提示（prompts）以引导模型进行分步推理。提示应当清晰、详细，能够逐步引导模型完成每一步的推理。
2. 模型训练：使用带有 COT 的训练数据对模型进行训练，使其学会分步推理的方式。这可以通过监督学习或使用带有详细推理步骤的示例进行强化学习。
3. 评估和验证：对模型的推理过程进行评估和验证，确保每一步的推理都是正确的，从而保证最终答案的准确性。

结论

COT 在工程上是一种通过分步推理来提高大语言模型回答质量的方法，而不是简单地重复多次回答然后综合结果。它通过明确和详细的推理步骤，帮助模型更好地理解和解决复杂问题，从而提高回答的准确性和可靠性。

在人工智能蓬勃发展的今天，大型语言模型（LLMs）在总结、算术推理和问答等任务中展现了卓越的能力。然而，当涉及到多方利益相关者的道德推理和伦理决策时，这些模型往往举步维艰。最近提出的“Skin-in-the-Game”（SKIG）框架旨在通过一种全新的方法，提升LLMs在道德推理方面的能力。

道德决策的挑战

随着Vaswani等人（2017）和Radford等人（2018）开发的LLMs变得越来越复杂，其应用范围也在不断扩大。从教育（Kung等，2023）到优化（Li等，2023），这些模型已经革新了各个领域。尽管取得了显著进展，但在伦理决策领域仍面临重大挑战。这是因为人类价值观和伦理观念的复杂性，受文化和社会偏见（Fraser等，2022）的影响，构成了独特的难题。

SKIG框架

由弗吉尼亚理工大学和亚马逊的研究人员提出的SKIG框架，通过模拟决策对多方利益相关者的影响，旨在提升LLMs的道德推理能力。该框架的核心概念是“Skin-in-the-Game”，即通过让模型承担其决策的结果，促进更加负责任和道德的选择。受到Taleb和Sandis（2013）的启发，该框架结合了共情练习和风险评估，从而模拟问责机制，提升决策能力。

SKIG的工作原理

在SKIG框架中，LLMs被用来基于给定的情境和潜在的行动方案，探索不同的决策情景。模型被引导去设想自己是情境中的每一个利益相关者，模拟其行动的问责性。这种视角的转变显著提高了模型的表现，在各种道德推理基准测试中提升幅度高达70%。这些改进在不同类型的LLMs中都表现出一致性，包括专有模型和开源模型。

SKIG的关键组成部分

1. 模拟问责：通过模拟决策的后果，LLMs被引导去考虑对所有利益相关者的影响，从而加深对伦理影响的理解。
2. 共情练习：该框架包含一些练习，使LLMs能够与不同的利益相关者产生共情，提升其道德推理能力。
3. 风险评估：通过评估不同决策的潜在风险，LLMs能够做出更加明智和道德的选择。

相关工作和贡献

道德在LLMs中的研究引起了广泛关注，各种方法侧重于通过微调（Ganguli等，2022）或提示（Bang等，2022）将这些模型与人类价值观对齐。SKIG框架补充了这些方法，通过增加在各种情景下分析决策对利益相关者影响的关键维度。

结论

Skin-in-the-Game框架在提升LLMs道德决策能力方面迈出了重要一步。通过模拟问责机制和培养共情能力，SKIG解决了AI道德推理的固有挑战。随着LLMs的不断发展，像SKIG这样的框架将在确保这些模型做出负责任和道德的选择方面发挥关键作用，最终惠及整个社会。

“身临其境”：通过大语言模型中的多方利益相关者协调进行决策 (中文分析)

这篇论文介绍了 SKIG（Skin-in-the-Game，身临其境），这是一个旨在增强大型语言模型 (LLM) 道德推理能力的新框架。其核心思想是通过促使 LLM 从多个利益相关者的角度考虑其决定的后果，来模拟一种问责制。

以下是该论文关键方面的细分：

1. 问题陈述：

• LLM 在摘要、推理和问答等任务中表现出色，但在道德和伦理决策方面却步履维艰，尤其是在涉及多个利益相关者的复杂场景中。
• 现有方法主要侧重于通过微调或提示将 LLM 与人类价值观保持一致，但缺乏探索决策后果和模拟问责制的稳健机制。

2. 解决方案：SKIG 框架

• 受“身临其境”概念的启发，SKIG 旨在让 LLM 更加了解与其决策相关的潜在风险和回报。
• 关键组成部分：
  • 情景生成器：根据给定的情况和潜在行动探索多种可能的情景。
  • 利益相关者识别和换位思考：识别所有涉及的利益相关者，并促使 LLM 体验每个利益相关者的视角，从而模拟问责制。
  • 动机分析：分析行动背后的动机，以符合社会规范并促进现实情景的生成。
  • 后果探索：检查每个情景中行动对每个利益相关者的潜在后果。
  • 风险评估：评估最佳情况和最坏情况的后果及其可能性，从而 nuanced 地理解潜在的风险和收益。
  • 结果总结：总结每个情景的关键结果，以帮助做出明智的决策。

3. 理论基础：

• 该论文将道德决策制定视为一个优化问题，其中 LLM 旨在最大化代表所有利益相关者效用的综合福利函数。
• 它为 SKIG 的泛化性能提供了理论保证，强调了 LLM 准确模拟情景分布的能力和所用模拟次数的重要性。

4. 实验和结果：

• 该论文在各种道德推理基准测试中评估了 SKIG，包括 MMLU 道德情景、道德故事、ETHICS 常识道德和社会化学 101。
• SKIG 在不同的 LLM 中始终优于基线方法，如标准提示、零样本 CoT 和思想实验，包括专有模型（TEXT-ADA、TEXT-BABBAGE、TEXT-CURIE、TEXT-DAVINCI、GPT-3.5 TURBO、GPT-4）和开源模型（MISTRAL-7B）。
• 消融研究证明了 SKIG 框架中每个组件的重要性，其中换位思考和风险评估对性能的提高贡献最大。

5. 主要贡献：

• 引入了 SKIG，这是一个通过模拟问责制和多方利益相关者视角来增强 LLM 道德推理能力的新框架。
• 对 SKIG 的泛化能力进行了理论分析。
• 在各种道德推理基准测试中证明了相对于现有方法的显著性能改进。

6. 局限性和未来工作：

• 该论文承认了与 LLM 情景生成和评估过程中潜在偏差相关的局限性。
• 未来的工作可以探索减轻这些偏差并进一步增强框架处理复杂道德困境的能力的方法。

总的来说，这篇论文提出了一种解决 LLM 在道德推理方面局限性的有希望的方法。通过模拟问责制并鼓励多方利益相关者视角，SKIG 为开发更道德、更负责任的 AI 系统提供了一个有价值的框架。

近年来，基于链式思维提示（Chain-of-Thought, CoT）的技术进步为大规模语言模型（LLMs）在复杂推理任务中带来了显著突破。然而，当模型生成多个推理链并基于答案频率进行集成时，正确答案在少数情况下的表现仍然较差。本文提出的层次化推理聚合框架AoR（Aggregation of Reasoning）通过评估推理链的方式来选择答案，并根据任务复杂度动态调整推理链的数量，显著提升了LLM的推理性能。

背景与现状

LLMs在各种自然语言处理任务中取得了显著进展，但在推理任务上与人类水平仍存在差距。传统方法通过增加模型的规模来提升性能，但效果有限。链式思维提示技术通过生成一系列中间步骤来简化每一步的复杂性，提供了一种新颖的视角来解决复杂推理任务。

然而，目前的多数投票集成方法在错误答案多于正确答案时表现不佳。本文通过对多个推理任务的分析发现，超过80%的样本尽管LLMs能够生成正确答案，但多数投票仍然导致错误预测。例如，在AQuA数据集中，尽管模型生成了正确答案，但由于错误答案的数量优势，最终选择了错误答案。

研究问题

在LLMs能够生成正确答案的情况下，如何减小错误答案的干扰以准确选择正确答案？为了回答这一问题，本文提出了AoR框架，通过评估推理链来提升答案选择的准确性。

AoR框架

AoR框架分为两个阶段：局部评分和全局评价。在局部评分阶段，评估产生相同答案的推理链，重点关注推理过程的合理性和步骤的适当性。在全局评价阶段，联合评估不同答案组中最具逻辑一致性和方法有效性的推理链，确定最佳推理链并将其对应的答案作为最终输出。

此外，AoR利用全局评价阶段的评分来估计模型对其最优推理过程和答案的信心水平，动态决定是否需要采样更多的推理链。这种动态采样机制在平衡性能和计算成本方面表现出色。

实验结果

实验结果表明，AoR在各种推理任务中的表现优于现有的集成方法。特别是在任务难度较大的情况下，AoR通过动态采样显著提升了LLMs的推理性能，减少了推理开销。

主要贡献

1. 识别出现有依赖答案频率的集成机制的不足，强调了推理过程的重要性，设计了层次化推理聚合框架AoR。
2. 利用最优推理链的评分，AoR动态调整采样数量，在平衡性能和计算成本方面表现优异。

结论

本文提出的AoR框架通过评估推理链显著提升了LLMs在复杂推理任务中的性能，为未来的研究和应用提供了新的思路。未来的工作可以进一步优化AoR的评估机制和动态采样策略，以应对更复杂的推理任务。

arxiv.org/pdf/2405.12939#pdfjs.action=download

我们来深入了解一下 AoR 框架的各个组成部分，以及它是如何解决大型语言模型 (LLMs) 在复杂推理任务中所面临挑战的。

现有问题:

现有的 LLM 推理方法，特别是依赖答案频率进行集成的那些，在面对正确答案属于少数情况时往往表现不佳。这是因为：

• 多数投票偏差: 当错误答案的数量超过正确答案时，即使 LLM 能够生成正确答案，基于多数投票的机制也可能倾向于选择错误的最终预测。
• 缺乏推理质量评估: 许多方法仅仅依靠答案出现的频率，而没有对推理过程本身进行质量评估，导致难以区分逻辑合理但答案罕见的情况。

AoR 框架如何解决这些问题:

AoR (Aggregation of Reasoning) 框架通过以下几个关键组件来解决上述问题：

1. 局部评分 (Local-Scoring):

• 分组: AoR 首先使用 CoT (Chain-of-Thought) prompting 技术生成多个推理链，并将得出相同答案的推理链归为一组。
• 评估: 在每个组内，AoR 会根据预定义的标准（例如逻辑一致性、步骤清晰度、知识运用等）对每个推理链进行评分。
• 筛选: AoR 会选择每个组中得分最高的 k 个推理链作为代表，传递到下一阶段。 作用: 局部评分阶段的目标是筛选出每个答案组中推理质量最高的代表性推理链，避免仅仅依赖答案频率进行筛选。

1. 全局评估 (Global-Evaluation):

• 代表推理链比较: AoR 从每个答案组中选择一个得分最高的推理链，并将这些代表推理链进行比较。
• 最终答案选择: AoR 会根据预定义的标准（与局部评分类似）对代表推理链进行评估，并选择得分最高的推理链所对应的答案作为最终答案。 作用: 全局评估阶段的目标是从不同答案中选择推理最充分、逻辑最合理的答案，避免多数投票偏差。

1. 动态采样 (Dynamic Sampling):
   • 分数差距判断: AoR 会根据全局评估阶段中最高分和次高分推理链之间的分数差距来判断是否需要生成更多推理链。
   • 动态调整: 如果分数差距小于预设阈值，意味着模型对最终答案的选择不够确定，AoR 会自动生成更多推理链，并重复上述评分和评估过程，直到达到预设的置信度或推理链数量上限。
   作用: 动态采样机制能够根据任务的复杂性和模型的置信度自适应地调整推理链的数量，在保证准确性的同时提高效率。

总结:

AoR 框架通过结合局部评分、全局评估和动态采样机制，有效地解决了现有 LLM 推理方法的局限性。它不仅关注答案的频率，更注重对推理过程本身进行质量评估，从而提高了 LLM 在复杂推理任务中的准确性和可靠性。

希望这个解释能够帮助你更好地理解 AoR 框架！ 😊

让我们通过一个例子来说明 AoR 框架如何应用于大型语言模型的复杂推理任务中。

假设我们现在有一个常识推理任务：

问题： 小明在公园里散步，突然下起了大雨。他没有带伞，结果全身都湿透了。请问小明应该怎么做才能避免淋湿？

传统的基于答案频率的 LLM 推理方法可能会生成以下推理链和答案：

• 推理链 1： 下雨了，小明没有带伞，所以他淋湿了。他应该回家。 (答案：回家)
• 推理链 2： 下雨了，小明没有带伞，所以他淋湿了。他应该躲到树下。 (答案：躲到树下)
• 推理链 3： 下雨了，小明没有带伞，所以他淋湿了。他应该跑到附近的商店里避雨。 (答案：跑到商店里)
• 推理链 4： 下雨了，小明没有带伞，所以他淋湿了。他应该回家。 (答案：回家)

如果仅仅根据答案频率，”回家” 出现了两次，会被认为是最佳答案。

然而，”躲到树下” 或者 “跑到商店里” 才是更合理的答案。

现在我们来看看 AoR 框架如何处理这个问题：

1. 局部评分: AoR 会将产生相同答案的推理链分组，并对每个推理链进行评分。假设评分标准包括逻辑性、相关性和可行性。

• “回家” 组的两个推理链得分可能较低，因为它们没有直接解决如何避免淋湿的问题。
• “躲到树下” 和 “跑到商店里” 的推理链得分可能较高，因为它们提供了更直接、更可行的解决方案。

1. 全局评估: AoR 会从每个答案组中选择得分最高的推理链进行比较。在这个例子中，”躲到树下” 和 “跑到商店里” 的推理链可能会被选中。AoR 会进一步评估这两个推理链，并根据常识判断 “跑到商店里” 可能比 “躲到树下” 更能有效地避免淋湿。
2. 动态采样: 假设 AoR 在全局评估阶段对 “跑到商店里” 的推理链很有信心 (例如，分数差距远超预设阈值)，它就不会生成更多推理链。否则，它会生成更多推理链，例如 “打电话叫出租车” 或者 “借一把伞”，并重复上述评分和评估过程，直到达到预设的置信度。

最终，AoR 框架会选择 “跑到商店里” 作为最佳答案，因为它能够更准确地理解问题的语义，并生成更合理、更有效的解决方案。

通过这个例子，我们可以看到 AoR 框架如何通过对推理过程进行更细致的评估和动态调整，克服了传统方法的局限性，从而在复杂推理任务中取得更好的表现。

DeepSeek-V2是DeepSeek团队最新发布的MoE（Mixture of Experts）架构的LLM（大型语言模型）底座。该模型拥有236B的总参数量和21B的每个token激活参数量，支持128K tokens的上下文长度。DeepSeek-V2的一个核心创新点就是Multi-head Latent Attention（MLA）。

Multi-head Latent Attention（MLA）简介

MLA对传统Transformer中的多头注意力机制（MHA）进行了改进，主要目标是：

1. 降低推理时KV Cache的存储开销；
2. 缓解GQA（Grouped-Query Attention）和MQA（Multi-Query Attention）等方法导致的模型性能损耗。

标准的MHA结构

在标准的MHA结构中，每个token的query、key和value通过参数矩阵映射得到，并分割成多个注意力头。每个头独立计算注意力权重并得到输出，这个过程虽然能捕捉丰富的上下文信息，但在推理时需要缓存大量的KV Cache。

MLA如何改进？

MLA通过对keys和values进行低秩联合压缩来降低KV Cache：

1. 低秩Key-Value联合压缩：
   [
   \mathbf{c}_t^{KV} = W^{DKV} \mathbf{h}_t
   ]
   [
   \mathbf{k}_t^C = W^{UK} \mathbf{c}_t^{KV}
   ]
   [
   \mathbf{v}_t^C = W^{UV} \mathbf{c}_t^{KV}
   ]
   其中，(\mathbf{c}_t^{KV})表示压缩后的隐向量，(W^{DKV})是降维映射矩阵，(W^{UK})和(W^{UV})是升维映射矩阵。在推理时，只需要缓存隐向量(\mathbf{c}_t^{KV})，显著减少了KV Cache的容量。
2. Queries的低秩压缩：
   [
   \mathbf{c}_t^Q = W^{DQ} \mathbf{h}_t
   ]
   [
   \mathbf{q}_t^C = W^{UQ} \mathbf{c}_t^Q
   ]
   这样即便不能减少KV Cache，但可以降低训练过程中的激活内存。

代码实现

以下是MLA在DeepSeek-V2中的Python代码实现片段：

class DeepSeekV2Attention(nn.Module):
def init(self, config: DeepSeekV2Config, layer_idx: Optional[int] = None):
…
self.w_dq = nn.Linear(self.hidden_size, config.q_lora_rank, bias=config.attention_bias)
self.w_uq = nn.Linear(config.q_lora_rank, self.num_heads * self.q_head_dim, bias=False)
self.w_dkv = nn.Linear(self.hidden_size, self.dc, bias=config.attention_bias)
self.w_uk = nn.Linear(self.dc, self.num_heads * self.q_head_dim, bias=False)
self.w_uv = nn.Linear(self.dc, self.num_heads * self.q_head_dim, bias=False)

def forward(self, hidden_states: torch.Tensor, attention_mask: Optional[torch.Tensor] = None,
            position_ids: Optional[torch.LongTensor] = None, past_key_value: Optional[Cache] = None,
            output_attentions: bool = False, use_cache: bool = False, **kwargs):
    bsz, q_len, _ = hidden_states.size()

    q = self.w_uq(self.q_a_layernorm(self.w_dq(hidden_states))).view(bsz, q_len, self.num_heads, self.q_head_dim).transpose(1, 2)
    kv_seq_len = q.size(-2)
    if past_key_value is not None:
        kv_seq_len += past_key_value.get_usable_length(kv_seq_len, self.layer_idx)

    compressed_kv = self.w_dkv(hidden_states)
    if past_key_value is not None:
        compressed_kv = past_key_value.update(compressed_kv)

    k = self.w_uk(compressed_kv).view(bsz, -1, self.num_heads, self.q_head_dim).transpose(1, 2)
        v = self.w_uv(compressed_kv).view(bsz, -1, self.num_heads, self.q_head_dim).transpose(1, 2)

        attn_weights = torch.matmul(q, k.transpose(2, 3)) * self.softmax_scale
        attn_weights = nn.functional.softmax(attn_weights, dim=-1)

        if output_attentions:
            outputs = (attn_weights,)
        else:
            outputs = ()

        attn_output = torch.matmul(attn_weights, v)
        attn_output = attn_output.transpose(1, 2).contiguous().view(bsz, q_len, self.hidden_size)

        attn_output = self.out_proj(attn_output)
        outputs = (attn_output,) + outputs

        if use_cache:
            outputs = outputs + (past_key_value,)

        return outputs
```

结论
DeepSeek-V2通过引入Multi-head Latent Attention（MLA）结构，成功优化了传统的多头注意力机制（MHA），在保证模型性能的同时，显著降低了推理时KV Cache的存储开销。这不仅提高了模型的效率，也为未来的大模型架构设计提供了新的思路。

MLA的实现通过对queries、keys和values进行低秩压缩，减少了存储需求，缓解了因GQA和MQA方法导致的性能损耗。这种创新在深度学习模型的设计中具有重要的参考价值。

如果你对于DeepSeek-V2的MLA结构有更多的兴趣，建议查看其开源代码和详细文档，以便深入理解其工作机制和实现细节。