Day: June 23, 2024

近年来，深度学习在自然语言处理领域取得了巨大成功，这主要归功于 Transformer 架构。然而，状态空间模型（SSM），例如 Mamba，最近被证明在中小型规模上可以与 Transformer 媲美甚至超越。本文将深入探讨这两种模型之间的密切关系，并通过对结构化半可分矩阵的不同分解，建立 SSM 和注意力变体之间丰富的理论联系框架。我们的状态空间对偶性（SSD）框架将引领我们设计一种新的架构（Mamba-2），其核心层是对 Mamba 选择性 SSM 的改进，速度提高了 2-8 倍，同时在语言建模方面继续与 Transformer 保持竞争力。 Transformer 的效率瓶颈与状态空间模型的崛起 Transformer，特别是仅解码器模型（例如 GPT 和 Llama），以因果方式处理输入序列，是现代深度学习成功的关键驱动力之一。然而，其核心注意力层存在效率问题，例如在训练期间按序列长度呈二次方增长，以及在自回归生成期间需要大小与序列长度呈线性关系的缓存。为了解决这些问题，许多方法试图近似核心注意力层（Tay et al. 2022），但效果有限。 与此同时，一类替代序列模型——结构化状态空间模型（SSM）——应运而生。它们在训练期间按序列长度呈线性增长，在生成期间具有恒定的状态大小。SSM 在长程任务上表现出色（例如 S4），并且最近在中小型规模的语言建模上与 Transformer 媲美甚至超越（例如 [...]

近年来，深度学习领域取得的巨大成功离不开 Transformer 架构的贡献，尤其是在语言建模方面。然而，随着模型规模的不断扩大，Transformer 的二次时间复杂度成为了其进一步发展的瓶颈。与此同时，状态空间模型（SSM），例如 Mamba，展现出与 Transformer 相媲美甚至更优的性能，并且在中小规模模型上具有线性时间复杂度优势。 本文将深入探讨 Transformer 与 SSM 之间的联系，并提出一个全新的理论框架——结构化状态空间对偶性（SSD）。该框架揭示了 SSM 与各种注意力变体之间的密切关系，并通过对结构化半可分矩阵的不同分解方式建立了联系。基于 SSD 框架，我们设计了一种全新的架构——Mamba-2，其核心层是对 Mamba 选择性 SSM 的改进，速度提升了 2-8 倍，同时在语言建模方面仍然可以与 Transformer 竞争。 Transformer 与 SSM 的前世今生 Transformer：深度学习的明星架构 Transformer，特别是仅解码器模型（例如 [...]

近年来，人工智能（AI）发展日新月异，尤其是大型语言模型（LLM）的出现，例如ChatGPT，更是让人们看到了AI在理解和生成人类语言方面惊人的潜力。然而，即使强大的LLM也面临着一个巨大的挑战：如何高效地处理海量文本信息？ 想象一下，当你面对浩如烟海的文献资料，需要从中寻找特定问题的答案时，是不是常常感到力不从心？LLM也面临着同样的困境。传统的LLM受限于“内存”大小，只能处理有限长度的文本，面对过长的文本就会像迷失在信息海洋中一样，难以抓住重点，更不用说从中提取有效信息并进行推理了。 为了解决这个问题，科学家们提出了各种各样的方法，例如优化LLM的内部结构，或是借助外部工具帮助LLM检索信息。然而，这些方法要么效果有限，要么成本高昂，难以满足实际应用的需求。 最近，一种名为GraphReader的全新系统横空出世，为解决LLM的“阅读障碍”带来了新的希望。 GraphReader的工作原理是什么？ 简单来说，GraphReader就像一位高效的“阅读助手”，它可以将海量文本信息转化为一张结构清晰的“知识地图”，并指导LLM在这张地图上精准地找到目标信息。 具体来说，GraphReader的工作流程可以分为以下几个步骤： GraphReader的优势是什么？ GraphReader的应用前景 GraphReader的出现为LLM处理海量文本信息提供了一种全新的思路，未来有望应用于各种需要处理长文本的场景，例如： 总而言之，GraphReader的出现是LLM发展历程上的一个重要里程碑，它将帮助LLM突破自身局限，更好地理解和应用人类的知识，为我们带来更加智能化的未来。 [...]

大型语言模型 (LLM) 在自然语言理解和生成方面取得了显著进步，但受限于上下文窗口和内存使用，它们在处理长文本时仍然面临挑战。现有的长文本处理方法主要分为模型级别和智能体级别，但都存在一定的局限性：模型级别方法训练成本高昂，且容易忽略长文本中的关键细节；智能体级别方法则难以捕捉多跳关系和长距离依赖，在处理超长文本时效果不佳。 为了解决这些问题，本文提出了一种名为 GraphReader 的基于图的智能体系统，它能够将长文本结构化为图，并利用智能体自主探索图结构，从而有效地处理长文本信息。 1. GraphReader 的工作原理 GraphReader 的工作流程主要分为三个阶段：图构建、图探索和答案推理。 1.1 图构建 1.2 图探索 1.3 答案推理 2. 实验结果 GraphReader 在多个长文本问答基准测试中表现出色，包括多跳长文本问答 (HotpotQA、2WikiMultihopQA、MuSiQue) 和单跳长文本问答 (NarrativeQA)。 2.1 超越 GPT-4-128k 实验结果表明，GraphReader 在使用 4k [...]

引言 策略梯度（Policy Gradient）是解决强化学习问题的一种方法。如果你对强化学习领域还不太了解，建议先阅读“A (Long) Peek into Reinforcement Learning » Key Concepts”一文，了解问题定义和基本概念。 符号说明 为了帮助大家更好地理解文中的公式，以下是一些常用符号的解释： 符号 含义 (s \in \mathcal{S}) 状态 (a \in \mathcal{A}) 动作 (r \in \mathcal{R}) 奖励 (S_t, A_t, R_t) [...]

随着 [Llama3] 的开源，Alignment 的重要性日益凸显，而作为 Alignment 中坚力量的 RLHF 家族也愈发繁荣。今天，我们就来一起探索一下 RLHF 领域中那些令人拍案叫绝的魔改思路吧！ On Policy vs. Off Policy：究竟谁更胜一筹？ 在 LLM 领域，RLHF 主要分为两大路线： On Policy 方法通常需要更大的算力支持，训练时间也更长，但理论上具有更高的效果上限。 On Policy：让模型亲自上阵 On Policy 方法强调让模型在训练过程中“亲力亲为”，根据自身生成结果的好坏来学习改进。 举个例子，想象一下你正在学习玩王者荣耀： On Policy [...]

OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它能够流畅地回答各种问题，其表现令人惊叹，仿佛已经打破了机器与人类之间的界限。这一成就的背后，离不开大型语言模型 (LLM) 生成领域的一种全新训练范式：RLHF (Reinforcement Learning from Human Feedback)，意为以强化学习方式依据人类反馈优化语言模型。 传统 LLM 评价体系的局限性 过去几年，各种 LLM 在根据人类输入的提示 (prompt) 生成多样化文本方面取得了显著进展。然而，对于生成结果的评估却是一个主观且依赖于具体语境的难题。例如，我们可能希望模型生成一个充满创意的故事、一段真实可靠的信息性文本，或者是一段可执行的代码，而这些结果难以用现有的、基于规则的文本生成指标 (如 BLEU 和 ROUGE) 进行准确衡量。 此外，传统的 LLM 通常以预测下一个单词的方式构建，并采用简单的损失函数 (如交叉熵) [...]