Month: June 2024

近年来，人工智能（AI）发展日新月异，尤其是大型语言模型（LLM）的出现，例如ChatGPT，更是让人们看到了AI在理解和生成人类语言方面惊人的潜力。然而，即使强大的LLM也面临着一个巨大的挑战：如何高效地处理海量文本信息？ 想象一下，当你面对浩如烟海的文献资料，需要从中寻找特定问题的答案时，是不是常常感到力不从心？LLM也面临着同样的困境。传统的LLM受限于“内存”大小，只能处理有限长度的文本，面对过长的文本就会像迷失在信息海洋中一样，难以抓住重点，更不用说从中提取有效信息并进行推理了。 为了解决这个问题，科学家们提出了各种各样的方法，例如优化LLM的内部结构，或是借助外部工具帮助LLM检索信息。然而，这些方法要么效果有限，要么成本高昂，难以满足实际应用的需求。 最近，一种名为GraphReader的全新系统横空出世，为解决LLM的“阅读障碍”带来了新的希望。 GraphReader的工作原理是什么？ 简单来说，GraphReader就像一位高效的“阅读助手”，它可以将海量文本信息转化为一张结构清晰的“知识地图”，并指导LLM在这张地图上精准地找到目标信息。 具体来说，GraphReader的工作流程可以分为以下几个步骤： GraphReader的优势是什么？ GraphReader的应用前景 GraphReader的出现为LLM处理海量文本信息提供了一种全新的思路，未来有望应用于各种需要处理长文本的场景，例如： 总而言之，GraphReader的出现是LLM发展历程上的一个重要里程碑，它将帮助LLM突破自身局限，更好地理解和应用人类的知识，为我们带来更加智能化的未来。 [...]

大型语言模型 (LLM) 在自然语言理解和生成方面取得了显著进步，但受限于上下文窗口和内存使用，它们在处理长文本时仍然面临挑战。现有的长文本处理方法主要分为模型级别和智能体级别，但都存在一定的局限性：模型级别方法训练成本高昂，且容易忽略长文本中的关键细节；智能体级别方法则难以捕捉多跳关系和长距离依赖，在处理超长文本时效果不佳。 为了解决这些问题，本文提出了一种名为 GraphReader 的基于图的智能体系统，它能够将长文本结构化为图，并利用智能体自主探索图结构，从而有效地处理长文本信息。 1. GraphReader 的工作原理 GraphReader 的工作流程主要分为三个阶段：图构建、图探索和答案推理。 1.1 图构建 1.2 图探索 1.3 答案推理 2. 实验结果 GraphReader 在多个长文本问答基准测试中表现出色，包括多跳长文本问答 (HotpotQA、2WikiMultihopQA、MuSiQue) 和单跳长文本问答 (NarrativeQA)。 2.1 超越 GPT-4-128k 实验结果表明，GraphReader 在使用 4k [...]

引言 策略梯度（Policy Gradient）是解决强化学习问题的一种方法。如果你对强化学习领域还不太了解，建议先阅读“A (Long) Peek into Reinforcement Learning » Key Concepts”一文，了解问题定义和基本概念。 符号说明 为了帮助大家更好地理解文中的公式，以下是一些常用符号的解释： 符号 含义 (s \in \mathcal{S}) 状态 (a \in \mathcal{A}) 动作 (r \in \mathcal{R}) 奖励 (S_t, A_t, R_t) [...]

随着 [Llama3] 的开源，Alignment 的重要性日益凸显，而作为 Alignment 中坚力量的 RLHF 家族也愈发繁荣。今天，我们就来一起探索一下 RLHF 领域中那些令人拍案叫绝的魔改思路吧！ On Policy vs. Off Policy：究竟谁更胜一筹？ 在 LLM 领域，RLHF 主要分为两大路线： On Policy 方法通常需要更大的算力支持，训练时间也更长，但理论上具有更高的效果上限。 On Policy：让模型亲自上阵 On Policy 方法强调让模型在训练过程中“亲力亲为”，根据自身生成结果的好坏来学习改进。 举个例子，想象一下你正在学习玩王者荣耀： On Policy [...]

OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它能够流畅地回答各种问题，其表现令人惊叹，仿佛已经打破了机器与人类之间的界限。这一成就的背后，离不开大型语言模型 (LLM) 生成领域的一种全新训练范式：RLHF (Reinforcement Learning from Human Feedback)，意为以强化学习方式依据人类反馈优化语言模型。 传统 LLM 评价体系的局限性 过去几年，各种 LLM 在根据人类输入的提示 (prompt) 生成多样化文本方面取得了显著进展。然而，对于生成结果的评估却是一个主观且依赖于具体语境的难题。例如，我们可能希望模型生成一个充满创意的故事、一段真实可靠的信息性文本，或者是一段可执行的代码，而这些结果难以用现有的、基于规则的文本生成指标 (如 BLEU 和 ROUGE) 进行准确衡量。 此外，传统的 LLM 通常以预测下一个单词的方式构建，并采用简单的损失函数 (如交叉熵) [...]

This paper addresses the growing concern of computational cost associated with state-of-the-art Machine Translation (MT) evaluation metrics. While models like xCOMET achieve high correlation with human judgment, their large size [...]

近年来，语言模型（LMs）在自然语言处理领域取得了巨大成功，其核心在于能够估计自然语言序列的概率分布。这种分布对于计算语言学研究中的困惑度和惊异度至关重要。虽然我们通常关心的是如何测量词语的这些值，但大多数语言模型实际上是基于子词进行操作的。尽管看起来很简单，但要根据一种单元的概率准确计算另一种单元的概率，需要格外小心。事实上，我们发现许多最近的语言学研究都错误地计算了这些值。 本文推导了计算词语概率的正确方法，重点介绍了依赖使用词首标记（bow）分词器的语言模型（例如 GPT 系列）时出现的问题。实证结果表明，纠正概率计算中普遍存在的“错误”会影响句子理解和词汇优化分析中的测量结果。 1. 引言 语言模型定义了概率分布。在接受语言数据训练后，这些模型可以用来估计字符序列 c ∈ C∗ 或上下文词 wt ∈ W 中词的概率，其中 w<t ∈ W ∗。虽然推导这种估计现在已经很少作为训练这种模型的明确目标，但这种用例在一些领域仍然至关重要。例如，估计字符序列的概率对于计算模型的困惑度是必要的，这是语言模型训练中的一个核心评价指标。估计一个词在上下文中的概率对于计算一个词的惊异度是必要的：− log p(wt | w<t)，这是心理语言学和计算语言学中的一个重要值。 值得注意的是，大多数最近的语言模型都是在子词上运行的：经常一起出现的字符序列。这样做既是为了优化，也是为了效率。然而，子词并不一定构成实际的词，正如语言词典所定义的那样。至少从表面上看，从子词 p(s) 的概率分布转换为字符 p(c) 或词 p(w) 的概率分布似乎很简单。然而，一些技术细节很容易被忽视。例如，几个子词序列 [...]