Author: C3P00

大家好！今天，我要隆重介绍一个令人惊叹的项目——coqui-ai/TTS，一个功能强大的深度学习文本转语音工具包。它在研究和生产领域久经考验，能够将冰冷的文字转换成富有情感和个性的语音。coqui-ai/TTS 由才华横溢的 coqui.ai 团队开发，旨在为语音合成提供一站式解决方案。

🌈 一览众山小：TTS 的强大功能

coqui-ai/TTS 拥有令人难以置信的多功能性，它能够：

• 变声达人：coqui-ai/TTS 可以让你轻松地改变说话人的声音，让你拥有梦寐以求的嗓音。
• 多语言小能手：coqui-ai/TTS 支持多种语言，从英语到法语，从中文到西班牙语，应有尽有。
• 模型随心选：coqui-ai/TTS 提供了丰富的预训练模型，涵盖各种语言、音色和风格。你还可以根据自己的需求训练自定义模型。
• 跨平台兼容：coqui-ai/TTS 支持 Windows、Linux 和 macOS 等主流操作系统。

⚡️ 一学就会：coqui-ai/TTS 的简单上手指南

coqui-ai/TTS 的使用非常简单，即使你不是技术专家，也能快速上手。以下是如何使用 TTS 的步骤：

1. 安装 TTS：你可以通过 pip 或 Docker 轻松地安装 TTS。
2. 选择模型：TTS 提供了多种预训练模型，你可以根据自己的需要选择合适的模型。
3. 合成语音：使用 TTS 的 API 或命令行工具，你可以轻松地将文本转换成语音。

🛠️ 庖丁解牛：coqui-ai/TTS 的技术解析

coqui-ai/TTS 的背后是强大的深度学习技术。它使用了一种叫做 Tacotron 2 的神经网络模型，该模型能够将文本转换成语音频谱。然后，TTS 使用另一个叫做 WaveNet 的神经网络模型将语音频谱转换成实际的语音。

TTS 还包含了许多其他组件，如说话人编码器、声码器和语音转换模型。这些组件共同协作，确保 TTS 能够生成高质量的语音。

📚 学无止境：coqui-ai/TTS 的进阶教程

如果你想更深入地了解 TTS，这里有一些进阶教程：

• 训练自定义模型：TTS 允许你训练自己的自定义模型，以满足你的特定需求。
• 使用 TTS 进行语音转换：TTS 可以让你将一个人的声音转换成另一个人的声音。
• 使用 TTS 进行语音合成：TTS 可以让你从头开始合成语音，而无需任何预先录制的音频。

🌍 桃李满天下：coqui-ai/TTS 的广泛应用

coqui-ai/TTS 已经被广泛应用于各种领域，包括：

• 语音助手：coqui-ai/TTS 可以为语音助手提供自然流畅的语音。
• 电子学习：coqui-ai/TTS 可以为电子学习平台提供语音朗读功能。
• 游戏：coqui-ai/TTS 可以为游戏提供逼真的语音效果。
• 电影和电视：coqui-ai/TTS 可以为电影和电视节目提供配音。

💡 点石成金：coqui-ai/TTS 的未来展望

TTS 的未来发展潜力巨大。它可以应用于更多领域，如医疗保健、交通运输和金融。随着技术的不断进步，TTS 将变得更加强大和智能，为我们带来更多惊喜。

🎁 结语

coqui-ai/TTS 是一个令人惊叹的工具包，它可以将文本转换成自然流畅的语音。它在研究和生产领域久经考验，拥有强大的功能和广泛的应用。如果你正在寻找一个能够满足你语音合成需求的工具，那么 TTS 绝对是你的不二之选。

👋 Welcome, dear readers! Today, we embark on an exciting journey into the realm of artificial intelligence (AI) as we delve into the intricacies of AgentUnit. As a seasoned AI expert, I will guide you step by step through this immersive exploration. So, let’s put on our thinking caps and dive right in! 💡🚀

Introduction: The Fascinating World of AgentUnit

Artificial intelligence has revolutionized numerous aspects of our lives, and AgentUnit stands as a shining example of its capabilities. 🤖✨ AgentUnit is an advanced AI system that has garnered significant attention in recent years. Its multifaceted nature and remarkable functionalities make it a true game-changer in the field.

Understanding AgentUnit: Breaking it Down

1. What is AgentUnit?

At its core, AgentUnit can be described as a sophisticated AI agent. 🕵️‍♀️ It possesses the ability to process vast amounts of data, make intelligent decisions, and carry out complex tasks. This remarkable agent combines various cutting-edge technologies, including natural language processing (NLP), machine learning (ML), and deep learning (DL), to achieve its goals.

2. Unveiling the Features

AgentUnit boasts an impressive array of features, each contributing to its overall prowess. Here are some key highlights:

a. Natural Language Understanding (NLU)

AgentUnit’s NLU capabilities enable it to comprehend and interpret human language with remarkable accuracy. 🗣️📚 It can extract meaning from textual input, decipher user intent, and generate appropriate responses. This feature empowers AgentUnit to engage in seamless and meaningful conversations with users.

b. Contextual Reasoning

One of AgentUnit’s standout attributes is its ability to reason and understand context. 🧠🔍 By considering the broader context of a conversation or task, AgentUnit can provide more accurate and contextually relevant responses. This contextual reasoning capability enhances its overall performance and makes interactions more natural and intuitive.

c. Adaptive Learning

AgentUnit continuously learns and adapts from its experiences, making it a highly intelligent and flexible AI agent. 📚💡 It can analyze data patterns, identify trends, and improve its decision-making abilities over time. This adaptive learning mechanism enables AgentUnit to provide increasingly personalized and tailored solutions to user queries.

3. Real-World Applications

AgentUnit’s versatility extends beyond theoretical concepts, finding practical applications in various domains. Let’s explore a few domains where AgentUnit excels:

a. Customer Support

In the realm of customer support, AgentUnit shines as a valuable asset. 📞👥 Its ability to understand and address customer queries in a timely and accurate manner ensures a seamless support experience. AgentUnit can handle a wide range of inquiries, providing instant solutions and reducing the burden on human support agents.

b. Virtual Assistants

AgentUnit’s conversational abilities make it an ideal candidate for virtual assistants. 🗣️💼 By leveraging its NLP capabilities, it can assist users with tasks such as scheduling appointments, answering questions, and even providing personalized recommendations. This application of AgentUnit paves the way for more efficient and interactive virtual assistants.

c. Data Analysis

With its powerful data processing capabilities, AgentUnit proves invaluable in the realm of data analysis. 📊🔍 It can parse through vast datasets, extract valuable insights, and generate comprehensive reports. This feature enables businesses to make data-driven decisions efficiently and effectively.

Conclusion: The AI Frontier Expands with AgentUnit

As we conclude our deep dive into AgentUnit, we emerge with a newfound appreciation for the immense potential of artificial intelligence. AgentUnit’s ability to comprehend language, reason contextually, and adapt over time positions it as a formidable AI agent. Its real-world applications in customer support, virtual assistants, and data analysis demonstrate the breadth of its capabilities.

🌐✨ The future of AI is bright, and AgentUnit paves the way for further advancements in this ever-evolving field. So, let’s embrace this fascinating technology and continue pushing the boundaries of what AI can achieve! 🚀🔬💪

摘要：

最近，基于思想链（CoT）的提示在复杂推理任务中取得了成功，其目标是设计一个简单的提示，如“让我们逐步思考”或多个具有精心设计的理由的上下文示例，以引导大型语言模型（LLM）生成中间推理步骤。然而，生成的理由通常会伴随着错误，导致不真实和不诚实的推理链。为了减轻这种脆弱性，我们提出了一种新颖的基于知识的链式提示（CoK），目标是引导 LLM 生成形式为结构三元组的明确知识证据。这受到了我们人类行为的影响，即在回答复杂问题之前，我们可以在脑海中绘制思维导图或知识图作为推理证据。得益于 CoK，我们进一步引入了一种 F^2 验证方法，以估计推理链在事实性和忠实性方面的可靠性。对于不可靠的回答，可以指出错误的证据以引导 LLM 重新思考。大量实验证明，我们的方法可以进一步提高常识、事实、符号和算术推理任务的性能。

正文：

1. 介绍

1. 大型语言模型（LLM）在许多自然语言处理（NLP）任务中取得了最先进的性能。
2. 上下文学习（ICL）是一个蓬勃发展的研究课题，旨在通过对少数标记示例进行条件化来生成预测。
3. LLM 可以自发地将复杂的多步骤问题分解为中间推理链。
4. CoT 提示是一种通过将显式结构知识证据与文本解释相结合来提示 LLM 生成推理链的方法。
5. CoK 提示是一种新颖的方法，它通过一系列将显式结构知识证据与文本解释相结合的示例来增强 LLM 的推理能力。
6. 对问题的非事实性推理可能导致错误的答案，并且当 LLM 生成逻辑上合理的推理链时，但仍然提供不正确的答案时，响应可能是不忠实的。
7. 为了解决这些问题，提出了一种新颖的基于知识的链式（CoK）提示方法来增强 LLM 的推理能力。
8. CoK 提示由两部分组成：证据三元组（CoK-ET）和解释提示（CoK-EH）。
9. CoK-ET 是一个结构三元组列表，反映了从查询到答案的整体推理证据。
10. CoK-EH 是对这些证据的解释。
11. 为了构建具有 CoK 提示的上下文示例，我们首先对 K 个标记示例进行采样，每个示例都可以与一个简单的提示“让我们逐步思考”连接起来。
12. 然后，我们从外部知识库（KB）中检索一些结构三元组，并通过人工精心注释证据三元组来获得设计良好的 CoK 提示。
13. CoK 提示可以被视为一个规则，它规范了输出空间/格式，并敦促 LLM 生成明确的证据，而不是仅仅尝试生成模糊的文本推理链。

2. 相关工作

1. 上下文学习（ICL）是一种因果语言建模任务，允许 LLM 通过设计良好的基于文本的提示进行零样本/小样本学习。
2. ICL 可以绕过模型参数更新，并通过对少数标记示例进行条件化来实现显着的性能。
3. 以前的工作已经探索了一些 ICL 的影响方面，例如输入输出映射、模板格式以及示例的不同选择和排列。
4. 为了提高 ICL 的有效性，已经提出了一些新颖的方法，包括元学习、提示和示例工程、通过输入上下文示例获取 LM 偏好、通过自适应机制找到合适的示例组织以及预测校准。
5. 与以往的工作不同，我们的工作重点是 LLM 的推理能力，包括推理提示设计和输出验证。
6. 提出 CoT 提示是为了利用推理和可解释的信息来指导 LLM 生成可靠的响应。
7. 提出了一系列 CoT 增强方法来进一步提高推理能力。
8. LLM 推理的知识利用包括利用外部知识和工具来帮助模型完成推理任务。
9. 刘等。[2023b] 将计算物理引擎集成到语言建模过程中，以模拟潜在结果，并将它们用作输入的一部分来驱动模型进行推理。
10. 变色龙通过结合各种工具和知识资源来增强 LLM。

3. 方法

1. 生成的推理链有时会有错误，最终导致得出错误的答案。我们将这种挑战归咎于文本推理链：大型语言模型（LLM）可能会强制生成一种符合 CoT 提示格式的文本理性，但逻辑上模棱两可，导致得出
2. 错误的答案。为了应对这种挑战，我们考虑了两个核心方面。
3. 提示的生成方式。仅使用文本提示链并不能充分发挥 LLM 生成可靠和具体的推理过程的能力。受到 KB 中三元组结构的影响，我们需要用结构特征增强提示。
4. 验证。LLM 通常无法检查它们已回答的答案，这需要我们利用外部知识进行验证。基于这些考虑，我们提供了如何提高 LLM 推理能力的具体解决方案。该框架的概述如图 2 所示。
5. 框架说明。推理可以建模为现有知识系统中的归纳和演绎。这是受到人类行为启发的，人们会画思维导图或知识图来分析问题并找到通往答案的正确路径。幸运的是，我们可以采用 KB 中三元的概念，将其视为“主体，关系，对象”，以形式化推理链的明确证据。
6. 建议的生成方式。我们首先使用链-of-knowledge（CoK）提示生成示例。然后，可以使用 CoK 提示让 LLM 生成包括证据三元组、解释提示和最终答案的推理链。最后，我们估计推理链在事实性和可靠性方面，不可靠的链将被重新考虑。
7. 建议的生成方式。为了便于 LLM 生成文本理性，我们可以采用 KB 中三元组的概念，将其视为“主体，关系，对象”，以形式化推理链的明确证据。CoK-ET 表示从 LLM 中支持逐步思维过程的多个三元组列表。CoK-EH 表示推理链的解释，类似于普通的 CoT。例如，在图 1 中，我们可以要求 LLM 生成两个明确的证据：“德雷克·怀特是一名篮球运动员”和“篮球投篮通常用于曲棍球或网球”以及一个文本解释，以支持最终答案“不”。
8. 挑战。构建文本理性，使其结构符合 CoK 三元组，是 CoK 提示生成中的关键挑战。如图 2 所示，我们首先进行示例构建，以获得一个设计良好的任务特定提示。具体而言，我们遵循 Wei 等。[2022，Wang 等。2022c] 的指导，随机选择 K 个问题作为基本示例。要自动获得 CoK-EH，我们遵循 Kojima 等。[2022] 的方法，使用简单的提示“让我们一步一步地思考”生成零样本 CoT 的文本理性。另一个挑战是如何获得更好的表示文本理性。

4. 实验设置

1. 实验共选择了五种类型的任务，包括常识和事实推理、算术推理、符号推理等，具体任务和数据集如下：
2. 常识和事实推理任务使用了 CommonSenseQA、StrategyQA、OpenBookQA、AI2 Reasoning Challenge (ARC-c)、BoolQ 等数据集，其中使用了 Wikitude 6、ConceptNet、Wikidata5M、ATOMIC、GLUCOSE、ASER、CausalBank 等知识库。
3. 算术推理任务使用了 GSM8K、SVAMP 等数据集，其中使用了 AQuA、MultiArith 等算法。
4. 符号推理任务使用了 Last Letter Concatenation、Coin Flip 等任务，其中手动构建了每个词的词典知识库。
5. 在我们的实验中，首先使用了几手/零手标准提示（SP）作为基线，然后使用了一些 SOTA CoT 方法作为强大的基线，如 Chain-of-thought (CoT)、Zero-shot-CoT 和 Auto-CoT 等。
6. 常识和事实推理任务在多个数据集上进行了比较，发现在几手/零手学习场景下，CoK 提示的性能表现良好，可以超过之前 CoT 策略的表现。这表明将显性证据三倍体和解释相结合可以提高 LLM 的推理能力。

5. 结论

1. 提出了一种名为 chain-of-knowledge prompting 的方法，旨在将大语言模型的推理链分解成多个证据三元组和解释提示，以进一步提高推理能力。
2. 根据 chain-of-knowledge prompt，引入了 F2-Verification，完全利用外部知识库对生成的推理链进行事实性和可靠性后验证。
3. 采用重新思考过程，注入知识以纠正虚假证据三元组，并使大语言模型重新生成答案。
4. 在多个推理任务上取得了比其他提示方法更好的结果。
5. 在未来，计划进一步改进其他规模的大语言模型的性能，将知识库扩展到搜索引擎以实现实时验证，并对大语言模型的推理进行可解释性分析。
6. 工作基于对大型语言模型的提示方法，在多个基准测试集上取得了优秀的性能。
7. 然而，它仍然具有以下局限性：（1）知识库中的证据三元组是有限的，可能无法确保对模型所有问题的全面覆盖。（2）在重新思考算法的背景下，CoK 可能需要比经典的 CoT 方法更多 API 调用。
8. 在社会影响方面，使用的知识库都是来自公共数据来源。
9. 将事实知识注入模型推理过程不会引入额外的偏见。
10. 它可以在某种程度上防止模型提供不负责且有害的答案。
11. 在 12 个公开的可用于推理任务的基准数据集上对 CoK 进行了评估，涵盖了算术推理、常识推理、符号推理和自然语言理解任务。
12. 数据集统计信息如表 5 所示，每个数据集的详细信息如下所示。
13. CoK 在多个基准测试集上取得了比其他提示方法更好的结果。

摘要：

尽管预训练语言模型 (PLM) 近期推动了数学推理研究的进展，但它们并非专门设计为有能力的多任务求解器，在实际应用中存在多任务部署成本高（例如，为一项任务复制一个模型）和复杂数学问题的性能较差的问题。为了解决这些问题，我们在本文中提出了 JiuZhang 2.0，这是一个专门针对多任务数学问题求解的统一中文 PLM。我们的想法是保持一个中等规模的模型，并采用“跨任务知识共享”来提高模型在多任务设置中的能力。特别地，我们构建了一个混合专家 (MoE) 架构来建模数学文本，以便捕获跨任务的通用数学知识。为了优化 MoE 架构，我们设计了多任务持续预训练和多任务微调策略，以进行多任务适配。这些训练策略能够有效地分解来自任务数据中的知识，并通过专家网络建立跨任务共享。为了进一步提高解决不同复杂任务的泛化能力，我们利用大型语言模型 (LLM) 作为互补模型，通过上下文学习，迭代地优化我们 PLM 生成的解决方案。大量的实验已经证明了我们模型的有效性。

关键词：预训练语言模型，数学推理，多任务学习，混合专家，持续预训练，微调，大型语言模型，上下文学习

正文：

1. 介绍

数学推理是人工智能的一个重要领域，具有广泛的应用，如自然语言处理、机器翻译、信息检索等。近年来，随着预训练语言模型 (PLM) 的发展，数学推理取得了显著的进展。PLM 在大规模数学语料库上进行预训练，能够在一定程度上理解数学公式和逻辑，在各种数学相关任务上取得更好的性能。

然而，基于 PLM 的方法仍然存在两个主要局限性：任务性能有限和维护成本高。一方面，由于 PLM 的容量有限，在复杂数学问题上，其性能往往不佳。另一方面，由于 PLM 需要为每个任务单独训练，这导致了维护成本高的问题。

为了克服这些问题，大型语言模型 (LLM) 被引入解决数学问题。LLM 具有更强的数学推理能力，能够解决更复杂的数学问题。然而，LLM 在任务或领域适应性调整方面非常昂贵。

为了解决上述问题，我们在本文中提出了一种新的方法，旨在开发一个更有效的中文 PLM，能够适应多个复杂数学任务，从而更好地支持数学相关应用。该方法利用现有 LLMs 隐含的大量知识来提高 PLMs 解决复杂问题的能力。在实验中，该方法在一组数学任务上表现出色，甚至优于基于 LLM 的方法。

2. 相关工作

2.1 预训练语言模型的数学推理能力

近年来，PLM 在数学推理方面取得了很大的进步。例如，BERT 在数学推理任务上取得了很好的性能，表明 PLM 能够在一定程度上理解数学公式和逻辑。CodeX 是另一个专门针对数学推理的 PLM，在数学问题求解任务上取得了最先进的性能。

2.2 基于大型语言模型的方法

LLM 具有更强的数学推理能力，能够解决更复杂的数学问题。例如，GPT-3 能够解决高中水平的数学问题，PaLM 能够解决大学水平的数学问题。然而，LLM 在任务或领域适应性调整方面非常昂贵。

2.3 上下文学习

上下文学习可以用于解决不同任务，但仍然难以适应需要丰富领域知识的特定任务。例如，在数学问题求解任务中，上下文学习可以用于学习数学公式和逻辑，但难以学习特定领域的知识。

2.4 混合专家架构

混合专家 (MoE) 架构是一种用于处理大规模任务的模型架构。MoE 架构将模型分解成多个专家网络，每个专家网络处理任务的不同部分。这种分解可以提高模型的容量，并降低模型的训练成本。

2.5 多任务持续预训练和多任务微调策略

多任务持续预训练和多任务微调策略是用于优化 MoE 架构的多任务适应性策略。多任务持续预训练策略是在一个包含多个任务的数据集上对 MoE 架构进行预训练。多任务微调策略是在一个特定任务的数据集上对 MoE 架构进行微调。

2.6 传统 NLP 方法

传统的 NLP 方法，如语义解析器和运算符树，被用于理解数学文本中的公式和逻辑。这些方法通常依赖于特征提取和深度神经网络。

大家好，我是资深人工智能专家Halo Master。今天，我将带大家一起探索语言模型推理的奇妙世界。我们将从一篇arxiv论文《Why think step by step? Reasoning emerges from the locality of experience》开始，逐步解析语言模型中推理的本质。

语言模型的推理能力

语言模型，作为人工智能领域冉冉升起的新星，在文本生成、语言翻译、问答系统等领域展现了强大的能力。然而，当我们要求语言模型进行复杂的推理任务时，比如数学问题求解、故事理解等，它们往往会遇到困难。

推理的本质：局部结构与链式推理

那么，为什么推理对语言模型如此重要呢？推理的本质是什么？

在本文中，作者提出了一个假设：推理之所以有用，是因为训练数据具有局部结构。

语言模型的训练数据通常是自然语言文本，而自然语言文本通常是关于几个密切相关的主题的。当概念在经验或训练数据中经常共现时，直接用简单的统计估计量来估计它们之间的影响是很容易的。然而，当我们需要推断一个信息对另一个信息的影响，但却没有将它们一起遇到时，我们就必须进行一系列的推理，在概念对之间跳跃，将我们所知道的与我们想要推断的联系起来。

作者认为，当训练数据具有局部结构时，链式推理就变得非常有用。局部结构是指观察往往发生在相关的概念的局部重叠邻域中。

理论分析：推理如何降低偏差

为了证明这一假设，作者给出了一个理论分析。他们考虑了一个简化的任务，在这个任务中，语言模型在一个链式结构的贝叶斯网络上训练。他们证明，当训练数据具有局部结构时，通过中间变量进行推理可以降低偏差。

实证研究：局部结构与推理的有效性

为了验证这一假设，作者进行了一个实证研究。他们训练了一个语言模型，并在具有不同结构的合成数据上对其进行评估。结果表明，当训练数据具有局部结构时，生成中间变量可以帮助语言模型更准确地估计条件概率。

结论：推理是语言模型的必备能力

综上所述，推理是语言模型的一项必备能力。当训练数据具有局部结构时，推理可以通过减少偏差来提高语言模型的性能。

展望：未来研究方向

在未来的研究中，我们可以从以下几个方面继续探索语言模型的推理能力：

1. 如何设计更有效的推理算法？
2. 如何将推理应用到更广泛的任务中？
3. 如何让人工智能更好地理解和模拟人类的推理过程？

我相信，随着人工智能技术的不断发展，语言模型的推理能力也将越来越强大，并将在越来越多的领域发挥重要作用。

参考文献

[1] Ben Prystawski, Michael Y. Li, Noah D. Goodman. Why think step by step? Reasoning emerges from the locality of experience. arXiv preprint arXiv:2304.03843, 2023.
[2] Using generative AI to imitate human behavior. Microsoft Research Blog. 2023.
[3] Breaking cross-modal boundaries in multimodal AI: Introducing CoDi, composable diffusion for any-to-any generation. Microsoft Research Blog. 2023.

🎯 AutoGen的目标

随着GPT-3、GPT-4等大型语言模型的出现,它们在诸多领域都展现了强大的潜力。但是要充分发挥这些模型的能力,需要设计非常复杂的工作流程,对研发人员提出了巨大挑战😥。

AutoGen框架的目标就是要简化大型语言模型工作流程的编排、优化和自动化。让研发人员可以更容易地构建复杂的语言模型应用💪。

🛠 AutoGen的方法

AutoGen提供了可自定义和可交谈的agent。研发人员只需要进行以下两步配置:

1. 定义一组agent,指定它们的能力和角色
2. 定义agent之间的交互行为

整个流程就可以自动化啦!非常简单易用~

🤖 Agent的特点

AutoGen的Agent有以下特点:

• 💬 可以与语言模型、人类和工具自由交互对话
• ⚙️ 内置语言模型编码执行等功能
• 🔧 支持引入各种外部工具、API等
• 🧠 易于加入个性化、适应性等高级功能

👥 Agent模式的好处

Agent对话中心的设计模式有诸多好处:

• 🤝 自然支持协作、反馈、调试等
• 🎯 易于解决代码相关任务
• ✋🏻 支持用户随时加入或退出
• 🤝 多个专家可以协同解决复杂问题

🎉 总结

AutoGen为构建下一代语言模型应用提供了一个高效、简单、可扩展的框架。它展示了语言模型、人类和工具协作的巨大创新空间。希望大家在未来的科研中可以活跃运用AutoGen,创造出更多惊喜😄请大家多多提问,让我们共同进步!

大家好，今天，我们要一起探讨的是 Microsoft Research 最近的一篇研究：大型语言模型的终身模型编辑。这篇文章讲述了如何在保持低成本的同时，进行有效的模型修正，避免模型出现灾难性的遗忘。让我们一起深入了解一下。🧐

🎯 问题的根源

首先，我们来看看为什么需要对大型语言模型（LLMs）进行修正。LLMs在许多复杂任务中有着广泛的应用，但它们有时会出现不可预测的错误，或者传播偏见语言。这些错误往往随着底层数据或用户行为的变化而产生。这就需要对这些模型和它们支持的实际应用进行有针对性的、成本有效的修复。

我们可能会想到使用重复预训练或微调来实现这些修复。然而，这些解决方案通常在计算上过于昂贵。例如，LLAMA 1的训练需要在2048个A100 GPU上进行21天，其成本超过240万美元。LLMs的微调需要比许多研究实验室能够持续并负担得起的GPU更大。此外，我们甚至还不清楚应该向数据语料库添加或删除哪些数据，以便在不影响无关输入的情况下纠正特定行为。

📝 模型编辑的提出

为了在不进行昂贵训练的情况下保持LLMs的更新，人们最近提出了模型编辑作为对大模型进行有针对性更新的范例。大多数模型编辑器一次更新一个模型，注入一批修正。但错误通常会随时间序列性地被发现，并且必须快速纠正。换句话说，当模型被部署时，必须进行终身模型编辑，即遇到一个流的错误并必须立即对其进行处理。这需要进行许多连续的编辑，在这种设置下，现有的编辑器已知会失败。成功在这里意味着按序纠正所有的编辑，而不遗忘旧的修复，也不会降低对无关输入的性能。

那么，什么是编辑呢？在一篇题为《带有离散键值适配器的GRACE终身模型编辑》的文章中，作者考虑了三种类型的编辑：

1. 更新事实知识。例如，我们有一个预先训练的问答模型：我们输入问题，模型返回答案。但随着世界的变化，这些答案会过时。因此，编辑是一个包含问题（例如，“美国总统是谁？”）和问题的正确答案（例如，“拜登”）的元组或有序值序列。
2. 跟上翻转标签。分类任务中的基础真相可能会随时间变化。如果只有特定类型的数据被重新标记，那么目标编辑就尤为重要。在这种情况下，编辑是一个配对输入（例如，法院文件）和一个新标签（例如，主题）。
3. 缓解LLMs中的捏造和不连贯。使用LLMs的一个关键挑战是避免它们生成与现实无关的语言。因此，当它们创建出有问题的输出时，模型的编辑将包含这样的元组：一个输入（例如，一个启动语句）和一个从模型的输出中提取的错误片段（例如，一个错误的预测）。

🧪 终身模型编辑的挑战与解决方案

我们已经知道，错误往往会随时间序列性地被发现，并且必须快速纠正。这就需要进行许多连续的编辑，这是一项挑战。在这种情况下，现有的编辑器已知会失败。它们可能会遗忘旧的修复，或者对无关输入的性能产生影响。

为了解决这个问题，研究者们提出了一种名为GRACE的新型模型编辑方法。这个方法采用了离散的键值适配器，能够处理连续的编辑。它能够在不遗忘旧的修复，也不会降低对无关输入的性能的情况下，按序纠正所有的编辑。

这种方法的关键在于，它不直接更改模型的参数，而是在模型上添加一个小型的键值存储。每次编辑时，该方法都会将编辑的“键”和“值”添加到存储中。然后，在模型进行预测时，该方法会检查存储中是否存在与当前输入匹配的键。如果存在，模型就会使用存储中的值来修改其预测。

这种方法的优势是，它能够在处理新的编辑时，保留对旧编辑的记忆，从而避免了灾难性的遗忘。此外，由于键值存储的规模远小于模型本身，因此，这种方法的计算和存储成本也相对较低。

总结一下，大型语言模型的终身模型编辑是一个非常重要且具有挑战性的问题。这在保持模型更新，提高预测准确性，同时也降低了训练和维护的成本。通过微调、模型编辑等方法，我们可以使模型更加适应变化的世界，并为我们提供更准确、更贴近现实的预测。希望你们能从这次的讲解中有所收获，下次课我们再见！👋🏻

大家好，欢迎收听我们的人工智能播客，我是你的主播，也是资深的人工智能专家。今天我们要聊的话题是：如何通过一种全新的方式——思维骨架（Skeleton-of-Thought，简称SoT），来加速大语言模型（LLM）的输出，并提高其结果质量。🚀

💡大语言模型的痛点

LLM，例如LLaMA和OpenAI的GPT-4，正在改变我们的技术领域。然而，对LLM的一个普遍抱怨是它们的运行速度。在许多情况下，从LLM获取答案需要很长时间，这限制了LLM在诸如聊天机器人、协同助手和工业控制器等延迟关键功能中的应用。⏱️

🚀思维骨架的提出

为了解决这一问题，微软研究院和清华大学的研究者提出了一种新的加速LLM生成的方法——思维骨架（SoT）。不同于大多数先前需要对LLM模型、系统或硬件进行修改的方法，SoT将LLM视为黑箱，因此可以应用于任何现成的开源（如LLaMA）或API基础（如OpenAI的GPT-4）模型中。🎁

🚗SoT如何加速？

SoT的想法源于LLM和人类处理信息的方式的区别。LLM按顺序生成答案，而人类在很多情况下，会先提炼出答案的骨架，然后添加细节来解释每一点。SoT就是按照这种人类的思维方式，将生成过程分为两个阶段：首先，SoT让LLM生成答案的骨架，然后再让LLM给出骨架中每一点的答案。🔍

这种方法提供了一个新的加速机会，因为第二阶段的每一点的答案都可以并行生成，无论是本地模型（如LLaMA）还是API基础模型（如OpenAI的GPT-4）。对于API基础模型，我们可以对每一点发出并行的API请求。对于本地运行的模型，我们可以在一个批次中同时回答所有的点。💼

⚖️SoT的效果如何？

我们在包括九个开源模型和三个API基础模型在内的12个最近发布的模型上测试了SoT。我们使用的是Vicuna-80数据集，该数据集包含80个问题，涵盖了编程、数学、写作、角色扮演等九个类别。

结果显示，SoT在所有模型上都提供了显著的速度提升。特别是，SoT在12个模型中的8个模型上获得了超过2倍（最高达到2.39倍）的速度提升。此外，SoT在不明显降低答案质量的情况下实现了这种速度的提升。💪

🌈SoT的未来

SoT通过独立并行地扩展点，因此并不适合需要逐步推理的问题，比如数学和编程。为此，我们提出了一种SoT的扩展，叫做SoT with Router（SoT-R），它可以在适合的时候自适应地触发SoT。我们提出了一个路由器模型，该模型可以基于问题和答案的骨架，预测何时应使用SoT。实验显示，SoT-R在数学和编程问题上的性能超过了原始的SoT，并在所有测试集上达到了最好的性能。🎯

对于未来，我们期待通过进一步的研究和开发，将SoT的应用范围扩大到处理更复杂的问题，同时继续提高其生成速度和答案质量。我们相信，随着技术的不断发展，大语言模型将在我们的日常生活中扮演越来越重要的角色，为我们提供更加智能、快速和准确的服务。✨

在此，我要提醒大家，SoT的代码和演示已经在Github上开源，欢迎感兴趣的朋友们去查阅和使用。🌐

以上就是今天播客的全部内容，希望大家对SoT有了更深入的理解。如果你有任何问题或者想法，欢迎在评论区留言。我们下期再见，祝大家每天都有新的收获！👋

大家好，今天，我将为大家介绍一篇关于Orca 2的文章。Orca 2是一种小型语言模型，它通过学习一系列推理技巧，在推理能力上超越了5-10倍的大模型。

背景

大型语言模型（LLMs）正在改变人与机器之间的交互方式，并提升了许多现有应用的用户体验，如编码、网络搜索、聊天机器人、客户服务和内容创作等。这种由LLMs带来的转变也为新型人工智能应用铺平了道路。随着LLMs规模的不断扩大，例如GPT-4和PaLM-2等，它们展现出了前所未有的能力，尤其是在零-shot推理方面，包括回答复杂问题、生成解释和解决多步问题。即使在专业领域，LLMs现在也能在美国医学执照考试等测试中取得合格分数。这些能力曾经被认为是人工智能无法达到的范畴。

问题

然而，现有对于小型语言模型的训练往往依赖于模仿学习，即复制更大、更强大的模型的输出。尽管这些模型可以生成与其“老师”风格相似的内容，但它们在推理和理解能力上往往表现不足。模仿学习可能会限制较小模型的潜力，限制它们根据问题和模型容量来利用最佳解决策略。

主要贡献及解决思路

Orca 2的目标有两个：

一是教导较小模型如何使用一系列推理技巧，例如逐步处理、回忆再生成、回忆-推理-生成、抽取-生成和直接回答方法；
二是帮助这些模型确定何时使用最有效的推理策略，让它们能够在任务中表现最佳，不受模型大小的限制。

与Orca 1不同，Orca 2精心设计推理策略以适应特定任务，考虑到学生模型是否具备相同的行为。更强大的LLM被设计为呈现引发特定战略行为的复杂提示，从而产生更精确的结果。在训练阶段，较小模型仅暴露于任务和结果行为，而不知道触发这种行为的原始提示，这种“提示擦除”技术使Orca 2成为一种“谨慎的推理者”。

达到的具体效果

与以往侧重于小型模型评估的研究不同，作者们提供了包含约100个任务和超过36,000个独特提示的15个综合性基准测试来评估Orca 2。初步结果显示（figure 1），Orca 2明显超越了相似规模的模型，甚至在需要推理的任务上与5到10倍大的模型相匹敌甚至超越，突显了赋予较小模型更好推理能力的潜力。

文章推荐

文章名称：Orca 2-Teaching Small Language Models How to Reason

文章链接：https://arxiv.org/pdf/2311.11045.pdf

github链接：

结语

以上就是我对Orca 2这篇文章的解读。希望对大家有所帮助。

大家好，欢迎收听本期播客节目！我是你们的主持人，今天我将和大家一起探讨一个重要的话题：如何教小型语言模型进行推理。推理能力对于语言模型来说非常关键，它能够帮助模型理解并生成连贯且上下文相关的回答。近年来，有许多研究和方法致力于提高语言模型的推理能力，甚至包括参数较小的模型。

1. 连贯性思维引导

一种在提高大型语言模型推理能力方面取得显著成果的方法是使用连贯性思维引导。这种方法通过给模型提供一系列提示或问题来引导其思维过程，鼓励其逐步推理。通过使用连贯性思维引导训练语言模型，研究人员在各种推理任务上取得了最先进的结果。

2. 知识蒸馏

为了将大型语言模型的推理能力传递给较小的模型，研究人员进行了知识蒸馏的探索。在这种方法中，通过较大的“教师”模型生成的连贯性思维输出来训练较小的“学生”模型。教师模型的连贯性思维输出为学生模型提供了宝贵的知识源，使其能够学习和提高其推理能力。

3. 实验结果

对算术、常识和符号推理数据集进行的实验证明了知识蒸馏方法对较小语言模型的任务性能的改进[1]。例如，当在一个名为PaLM-540B生成的连贯性思维的基础上进行微调时，T5 XXL模型在GSM8K数据集上的准确率从8.11%提高到了21.99%。

来源：

1. Teaching Small Language Models to Reason – Magister等人，ACL文集，2023年。

---

了解更多：

1. [2212.08410] Teaching Small Language Models to Reason
2. Teaching Small Language Models to Reason – ACL Anthology
3. [2311.11045] Orca 2: Teaching Small Language Models How to Reason