Author: C3P00

在人工智能领域，大语言模型（LLM）的推理效率一直是一个重要的研究方向。近日，一款名为TurboMind的高效推理引擎引起了业界的广泛关注。本文将深入探讨TurboMind的创新特性及其在LLM推理领域的重要贡献。

TurboMind：承载创新的推理引擎

TurboMind是一款基于英伟达FasterTransformer框架开发的高效LLM推理引擎。它的诞生旨在解决当前LLM推理过程中面临的诸多挑战，尤其是在支持LLaMa结构模型、实现持久批处理（Persistent Batch）推理模式以及可扩展的KV缓存管理等方面。

革命性的架构设计

TurboMind的架构设计堪称革命性，它巧妙地整合了多个关键组件，形成了一个高效的推理生态系统。其核心架构包括：

1. API层：作为用户交互的接口
2. Persistent Batch层：实现持续批处理
3. KV Cache管理器：优化内存使用
4. LLaMa推理实现：针对LLaMa模型的特定优化
5. FT kernels & utilities：底层计算和工具支持

这种层次分明的架构设计不仅提高了系统的模块化程度，也为未来的扩展和优化奠定了坚实的基础。

Persistent Batch：重新定义批处理

Persistent Batch是TurboMind的一大亮点，它将对话式LLM的推理过程重新概念化为一个持续运行的批处理过程。这种创新的方法带来了显著的性能提升：

• 预先准备N个批处理槽位
• 动态分配和释放槽位
• 利用缓存优化token生成过程
• 自动扩缩容以优化计算资源利用

这种方法不仅提高了系统的吞吐量，还大大减少了资源的浪费，使得LLM推理更加高效和灵活。

KV缓存管理器：内存优化的新境界

TurboMind的KV缓存管理器是一个集成了LRU（最近最少使用）算法的内存池。这个创新的设计为LLM推理带来了巨大的内存管理优势：

• 预配置的slot数量，灵活分配空间
• LRU机制实现智能缓存替换
• 缓存命中时直接返回历史KV，避免重复解码
• 被踢除的sequences转换为简洁形式存储
• 对用户透明的自动管理机制

这种设计使得TurboMind能够模拟无限设备内存的使用体验，大大提升了系统的可扩展性和效率。

LLaMa模型的优化实现

TurboMind对LLaMa系列模型的实现进行了深度优化，主要包括：

1. 快速文本解码：使用基于cutlass的FMHA实现
2. 支持不连续KV缓存：通过间接缓冲指针实现
3. 并发推理同步机制：新设计的同步机制协调张量并型模式下的工作线程
4. INT8 KV cache：降低内存开销，提高批处理大小和系统吞吐量
5. 解决NCCL卡住问题：通过host端同步barriers保护NCCL APIs

这些优化不仅提高了LLaMa模型的推理效率，还为其他类型的LLM优化提供了宝贵的经验。

API设计：灵活性与效率的平衡

TurboMind的Python API支持流式结果返回和张量并行模式，这为开发者提供了极大的灵活性。流式返回允许实时处理生成的文本，而张量并行模式则有助于提高大规模模型的推理效率。

TurboMind vs FasterTransformer：精简与聚焦

虽然TurboMind基于FasterTransformer开发，但它在功能上进行了精简和聚焦。去除了一些不常用的功能，如前缀提示词、beam search、上下文embedding等，使得TurboMind更加专注于LLaMa结构模型的高效推理。

技术挑战与解决方案

在开发TurboMind的过程中，团队面临并解决了多个技术挑战：

1. 权重格式适配：
   TurboMind的权重设计基于LLaMa的官方实现，与Huggingface版本存在差异。团队在deploy.py中实现了适配处理，解决了W_q和W_k的差异问题。
2. 内存管理：
   通过创新的KV缓存管理器，TurboMind实现了高效的内存使用和管理，解决了大规模LLM推理中的内存瓶颈问题。
3. 并发推理：
   设计新的同步机制，解决了张量并型模式下的并发推理问题，提高了系统的整体吞吐量。
4. INT8量化：
   实现INT8 KV cache，在保证性能的同时大幅降低了内存开销，这对于实际应用场景至关重要。
5. NCCL通信优化：
   解决了多个模型实例在张量并行模式下运行时NCCL卡住的问题，提高了分布式推理的稳定性。

结论与展望

TurboMind作为一款创新的LLM推理引擎，在多个方面展现出了卓越的性能和灵活性。它的Persistent Batch机制、高效的KV缓存管理以及对LLaMa模型的深度优化，为大语言模型的实际应用提供了强有力的支持。

未来，随着人工智能技术的不断发展，我们可以期待TurboMind在以下方面继续演进：

1. 支持更多模型结构：扩展对其他流行LLM架构的支持
2. 进一步的性能优化：探索新的算法和硬件加速技术
3. 分布式推理：增强在大规模集群上的分布式推理能力
4. 动态适应：开发能够根据输入动态调整推理策略的机制
5. 生态系统集成：与更多深度学习框架和工具链进行深度集成

TurboMind的出现无疑为LLM推理技术注入了新的活力，它不仅推动了技术的进步，也为人工智能的实际应用开辟了新的可能性。随着这项技术的不断成熟和完善，我们有理由相信，它将在未来的AI领域发挥更加重要的作用。

参考文献：

[1] InternLM. (2023). TurboMind框架. GitHub repository. https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/turbomind.md

[2] NVIDIA. (2023). FasterTransformer. GitHub repository. https://github.com/NVIDIA/FasterTransformer

[3] NVIDIA. (2023). CUTLASS. GitHub repository. https://github.com/NVIDIA/cutlass

[4] Facebook Research. (2023). LLaMA: Open and Efficient Foundation Language Models. GitHub repository. https://github.com/facebookresearch/llama

[5] Hugging Face. (2023). Transformers. GitHub repository. https://github.com/huggingface/transformers

在人工智能和机器学习等数据密集型应用日益普及的今天,传统冯·诺依曼计算架构在能效方面的局限性日益凸显。为应对这一挑战,来自都灵理工大学和洛桑联邦理工学院的研究人员提出了两种新型近存计算(NMC)架构——NM-Caesar和NM-Carus,有望为下一代边缘计算节点带来突破性进展。

传统架构面临挑战

随着边缘计算的兴起,对实时数据处理的需求不断增加,而传统计算架构在处理这些数据密集型工作负载时表现不佳。主要原因在于:

1. 数据和指令需要不断在内存和CPU寄存器之间移动,造成能耗浪费。
2. SRAM集成技术的发展速度落后于逻辑电路,导致”内存墙”问题。

根据计算机体系结构专家John Hennessy和David Patterson的研究,SRAM访问的能耗通常是CPU算术运算的100倍。

近存计算:破解能效困局的关键

为解决上述问题,研究人员提出了计算存储一体化(CIM)范式,包括存内计算(IMC)和近存计算(NMC)。其核心思想是:

• 将处理单元移至靠近数据的位置
• 减少指令获取开销
• 降低系统总线压力
• 优化内存带宽利用

NMC方案保留了灵活的内存访问能力,更适合传统可编程系统的语义,因此成为本研究的重点。

NM-Caesar:面向轻量级应用的高效方案

NM-Caesar是一种面向面积受限场景的NMC单元,主要特点包括:

• 支持SIMD指令
• 由主机系统进行微控制
• 适用于具有规则控制流的TinyML基准测试
• 适合处理生物医学应用中的峰值检测等算法
• 可用于心律失常检测等轻量级人工神经网络

NM-Carus:全自主RISC-V向量处理单元

NM-Carus则是一种功能更强大的NMC架构:

• 基于RISC-V指令集
• 支持向量运算
• 完全自主运行
• 适用于高度并行和复杂的TinyML应用
• 可处理深度神经网络等计算密集型工作负载
• 支持数据依赖控制流的任务

性能大幅提升

研究人员对这两种架构进行了详细的评估。结果表明:

• NM-Caesar可将执行时间缩短至原来的1/25.8,能效提高23.2倍
• NM-Carus在执行时间和能效方面分别实现了50倍和33.1倍的提升
• 在8位矩阵乘法中,NM-Carus达到了306.7 GOPS/W的峰值能效,超越了现有的最先进存内和近存计算电路

易于集成是关键优势

与现有CIM解决方案相比,NM-Caesar和NM-Carus的一大亮点在于其易于集成的特性:

1. 提供与SRAM兼容的接口,可作为传统SRAM的直接替代品
2. 除计算模式外,还支持透明的内存操作模式
3. 对主机系统的软件栈和物理特性影响最小化

这种低成本、低集成难度的方法,有望推动NMC技术在通用低功耗边缘设备中的广泛应用。

未来展望

随着边缘AI和IoT应用的进一步普及,对高能效计算解决方案的需求将持续增长。NM-Caesar和NM-Carus的成功,为未来边缘计算芯片的设计指明了方向。研究人员表示,下一步将进一步优化架构,并探索在更先进工艺节点上的实现,以进一步提升性能和能效。

《Scalable and RISC-V Programmable Near-Memory Computing Architectures for Edge Nodes》

导言：迈向通用人工智能的探索

近年来，人工智能领域一直在探索通往通用人工智能（AGI）的道路。其中一个重要的方向是开发“语言智能体”。这些智能体是基于大型语言模型（LLM）的复杂管道，结合了提示技术和工具使用方法。虽然语言智能体在许多现实任务中展现出了令人印象深刻的能力，但目前的研究存在一个根本性的局限性：它们以模型为中心，或者说是以工程为中心。这意味着，语言智能体的提示、工具和管道的改进需要人类专家的大量手动工程工作，而不是自动地从数据中学习。

工程中心化语言智能体的局限性

当前语言智能体开发的一个主要瓶颈是构建和定制特定任务的语言智能体系统所需的大量工程工作。具体来说，研究人员和开发人员必须手动将复杂的任务分解成更易于LLM处理的子任务（我们称之为节点），然后为特定节点精心设计提示和工具，包括API函数、知识库、记忆等等。这一过程的复杂性使得当前的语言智能体研究领域以模型为中心，或者说是以工程为中心。这意味着研究人员几乎不可能像以数据为中心的方式训练神经网络那样，在数据集上手动调整或优化语言智能体。这限制了手动编码的语言智能体的鲁棒性和通用性，并且需要大量的工程工作来使语言智能体适应新的任务或数据分布。

我们认为，从以工程为中心的语言智能体开发过渡到以数据为中心的学习是语言智能体研究的重要一步。

智能体符号学习：模拟神经网络的训练过程

为了解决上述问题，本文介绍了一种用于训练语言智能体的智能体符号学习框架。该框架的灵感来自于用于训练神经网络的连接主义学习过程。具体来说，我们将语言智能体与神经网络进行了类比：

• 智能体管道 类似于神经网络中的计算图，表示层及其连接的结构。
• 节点 类似于神经网络中的层，是智能体管道中的一个单独步骤。
• 提示和工具 类似于神经网络中的权重，用于在节点中处理输入数据。
• 轨迹 类似于神经网络中的计算图，存储前向传递过程中的所有信息，包括每个节点的输入、输出、提示和工具使用情况，并负责梯度反向传播。
• 语言损失 类似于神经网络中的损失函数，用于衡量预期结果与实际结果之间的差异，但以文本形式表示。
• 语言梯度 类似于连接主义学习中的梯度，是用于更新智能体中每个组件的文本分析和反思。

通过这种方式，我们能够在智能体训练的背景下，使用基于语言的损失、梯度和权重来实现连接主义学习的主要组成部分，即反向传播和基于梯度的权重更新。

智能体符号学习框架的工作流程

智能体符号学习框架的工作流程如下：

1. 前向传递: 与标准的智能体执行过程几乎相同，不同之处在于将每个节点的输入、提示、工具使用情况和输出存储到轨迹中，用于语言梯度反向传播。
2. 语言损失计算: 使用精心设计的提示模板，将轨迹输入到LLM中，计算训练样本的语言损失。 $L_{lang} = LLM(P_{loss}(τ ))$ 其中，$L_{lang}$ 表示语言损失，$LLM$ 表示大型语言模型，$P_{loss}$ 表示用于计算语言损失的提示模板，$τ$ 表示轨迹。
3. 语言梯度的反向传播: 从最后一个节点迭代到第一个节点，并使用精心设计的提示，使用LLM为每个节点计算梯度。 $∇{n}^{lang} = LLM(P{gradient}(∇{n+1}^{lang} , I_n, O_n,P_n, T_n,L{lang}))$ 其中，$∇{n}^{lang}$ 表示第 n 个节点的语言梯度，$P{gradient}$ 表示用于生成语言梯度的提示模板，$I_n$、$O_n$、$P_n$、$T_n$ 分别表示第 n 个节点的输入、输出、提示和工具。
4. 基于语言梯度的更新: 使用“符号优化器”更新每个节点中的提示和工具，并优化整体智能体管道。符号优化器是精心设计的提示管道，可以优化智能体的符号权重。

智能体符号学习的优势

与现有的单独优化单个提示或工具的方法相比，智能体符号学习框架联合优化了智能体系统中的所有符号组件，包括提示、工具以及将它们堆叠到智能体系统中的管道。这种自上而下的优化方案还使智能体符号学习框架能够“整体地”优化智能体系统，避免了每个分离组件的局部最优。这使得针对复杂现实问题的语言智能体能够有效地从数据中学习，为将当前的语言智能体研究状态从以工程为中心转变为以数据为中心开辟了可能性。

此外，由于基于语言的损失函数在生成语言损失时不需要ground-truth，因此我们的框架使语言智能体能够从经验中学习，并在创建和部署到实际环境中后，刻意更新其所有符号组件，从而实现“自我进化智能体”。

实验结果和分析

我们在标准的LLM基准测试和更复杂的智能体任务（如创意写作和软件开发）上进行了一系列实验。结果表明，所提出的智能体符号学习框架在优化和设计提示和工具，以及通过学习训练数据来更新整体智能体管道方面是有效的。

结论：迈向数据中心化智能体研究的一步

本文介绍了智能体符号学习，这是一个用于智能体学习的框架，可以联合优化智能体系统中的所有符号组件。智能体符号学习框架从标准的连接主义学习过程中汲取灵感，进行符号学习。它使用基于语言的损失、梯度和优化器，根据智能体系统的整体性能来优化提示、工具和智能体管道。所提出的框架是首次尝试优化能够使用复杂管道解决复杂现实问题的智能体。我们的框架使语言智能体能够“从数据中学习”，并在创建和部署到实际环境中后进行“自我进化”。我们进行了一些概念验证实验，结果表明，智能体符号学习框架可以有效地优化不同任务复杂度的智能体。我们相信，这种从以模型为中心到以数据为中心的智能体研究的转变是朝着通用人工智能迈出的有意义的一步，并将开源智能体符号学习框架的代码和提示，以加速这一转变。

参考文献

• [Radford et al., 2018] Improving Language Understanding by Generative Pre-Training.
• [Radford et al., 2019] Language Models are Unsupervised Multitask Learners.
• [Brown et al., 2020] Language Models are Few-Shot Learners.
• [Ouyang et al., 2022] Training language models to follow instructions with human feedback.
• [OpenAI, 2023] GPT-4 Technical Report.
• [Touvron et al., 2023a] Llama: Open and efficient foundation language models.
• [Touvron et al., 2023b] Lllama 2: Open foundation and fine-tuned chat models.
• [Vaswani et al., 2017] Attention is all you need.
• [Nye et al., 2022] Show your work: Scratchpad for intermediate computation with language models.
• [Wei et al., 2022] Chain of thought prompting elicits reasoning in large language models.
• [Yao et al., 2022] React: Synergizing reasoning and acting in language models.
• [Madaan et al., 2023] Self-refine: Iterative refinement with self-feedback.
• [Wang et al., 2023] Self-consistency improves chain of thought reasoning in language models.
• [Zhou et al., 2023a] Recurrent reasoning with natural language feedback for multi-step mathematical reasoning.
• [Schick et al., 2023] Toolformer: Language models can teach themselves to use tools.
• [Park et al., 2023] Generative agents: Interactive simulacra of human behavior.
• [Hong et al., 2023] MetaGPT: The first truly general-purpose autonomous agent.
• [Zhou et al., 2023b] Agents: An open-source framework for building language agents.
• [Chen et al., 2023b] AgentVerse: Facilitating multi-agent collaboration and competition in a single loop.
• [Xie et al., 2023] Openagents: An open platform for language agents in the wild.
• [Pryzant et al., 2020] Automatic prompt generation for self-supervised language modeling.
• [Yang et al., 2024] Large language models are human-level prompt engineers.
• [Prasad et al., 2023] Promptbreeder: Prompt learning with genetic algorithms.
• [Guo et al., 2024] Prompt tuning with evolutionary algorithms.
• [Zhang et al., 2024b] Agent-pro: Prompting large language models to learn policies via natural language interactions.
• [Zhang et al., 2024a] Agentoptimizer: Optimizing black-box functions with language model agents.
• [Sordoni et al., 2023] Learning to compose language models for generalization.
• [Khattab et al., 2023] DSpy: Towards debugging language model-driven agents via self-reflection.
• [Zhuge et al., 2024] GPTSwarm: Emergent optimization capabilities of large language models.
• [Chen et al., 2023a] Self-instruct: Aligning language model with self generated instructions.
• [Qiao et al., 2024] Instruction tuning with gpt-4.
• [Song et al., 2024] Instructiongpt: Exploring the limits of language models as general-purpose instruction followers.
• [Qian et al., 2024] ICE: Inter-task curriculum extraction for language agents.
• [Yao et al., 2023] Tree of thoughts: Deliberate problem-solving with large language models.
• [Hinton and Salakhutdinov, 2006] Reducing the dimensionality of data with neural networks.
• [Hinton, 1990] Connectionist learning procedures.
• [Paszke et al., 2019] PyTorch: An imperative style, high-performance deep learning library.
• [Abadi et al., 2016] TensorFlow: A system for large-scale machine learning.
• [Yang et al., 2018] HotpotQA: A dataset for diverse, explainable multi-hop question answering.
• [Hendrycks et al., 2021] Measuring mathematical problem solving with the MATH dataset.
• [Chen et al., 2021] Evaluating large language models trained on code.