Month: June 2024

引言：LLM的局限性与AGI的曙光 近年来，大型语言模型（LLM）的蓬勃发展，为人工智能领域注入了新的活力，预示着通用人工智能（AGI）的曙光。然而，一些LLM初创公司认为，拥有近乎无限上下文长度的LLM就能实现AGI，这种观点或许过于乐观。本文将深入探讨LLM在实现AGI道路上面临的挑战，并提出一种基于AI原生记忆的AGI实现路径。 无限上下文并非万能解药 当前，许多研究致力于扩展LLM的上下文长度，例如，GPT-4的上下文窗口为32K tokens，而最新的GPT-4-turbo和GPT-4o模型可以处理128K tokens；Gemini 1.5则声称拥有1M或10M tokens的上下文窗口。学术界也探索了对抗长度外推和位置偏差的方法，一些研究甚至声称实现了“无限”的上下文长度。 然而，LLM是否能够有效利用超长甚至无限的上下文，目前尚无定论。我们认为，类似于人类的认知负荷，LLM能够处理的最大内容量可能存在固有限制。 有效上下文长度的局限性 现有的长上下文LLM通常采用“大海捞针”（NIAH）测试来评估其性能，即从大量无关文本中检索特定信息的能力。有效上下文长度则定义为测试LLM相较于强基线模型表现更优的最大长度。 然而，根据最近一项针对长上下文模型的基准测试研究（Hsieh et al., 2024），大多数（如果不是全部）LLM都夸大了其上下文长度。例如，声称拥有128K上下文长度的GPT-4，其有效上下文长度仅为64K；而ChatGLM的有效上下文长度仅为4K，远低于其声称的128K。 推理能力的瓶颈 为了进一步验证LLM在长上下文场景下的推理能力，我们提出了一种新的评估任务——推理大海捞针，旨在验证LLM在需要同时进行检索和推理时的能力。 我们以Mindverse AI的“第二自我”产品Mebot的真实用户数据为例，构建了8个不同的用户数据堆栈，并设计了6种不同的查询-信息对。实验结果表明，即使是最先进的LLM（如GPT-4o和GPT-4-turbo），在处理长文本和多跳推理时也表现不佳。 图2：基于Mebot真实数据的推理大海捞针比较 实验结果表明，响应质量与上下文长度和推理步骤数量呈负相关，这意味着LLM在处理长文本和多步推理方面存在困难。 AI原生记忆：通向AGI的关键 我们认为，AGI应该是一个类似于计算机的系统，其中LLM充当处理器，LLM的上下文充当RAM，而记忆则扮演着磁盘存储的角色。 RALM/RAG：记忆的初级形态 检索增强型LLM（RALM）可以通过筛选大量相关上下文来回答查询，可以看作是将记忆定义为仅包含原始数据的特例。然而，记忆不仅仅是原始数据，它还应该包含从原始数据中推理得到的重要结论，并能够被用户直接消费。 什么是AI原生记忆？ 我们认为，AI原生记忆的最终形态是一个深度神经网络模型，它能够参数化和压缩所有类型的记忆，甚至是无法用自然语言描述的记忆。为了确保与同一个AGI代理交互的不同用户的记忆隐私，我们认为最佳实践是为每个用户维护一个独立的记忆模型。我们将这种介于AGI代理和特定用户之间的记忆模型称为该用户的大型个人模型（LPM）。 LPM记录、组织、索引和排列关于个人的每一个细节，最终为用户提供直接访问记忆的接口，并为下游应用程序（如个性化生成、推荐等）提供有用、完整的上下文。 LPM的实现级别 我们设想LPM的实现可以分为三个级别，复杂度递增： [...]

引言：大语言模型的“大象梦境” 当我们被要求不要去想一头大象时，我们脑海中浮现的第一个画面很可能就是一头大象。那么，如果我们对大语言模型（LLM）提出同样的要求，会发生什么呢？显然，LLM的输出会受到上下文标记的强烈影响 [Brown 等人，2020]。这种影响是否会以一种非同寻常的方式引导LLM改变其输出呢？ 为了深入理解这个问题，本文着眼于一项名为“事实检索”的任务 [Meng 等人，2022, 2023]，该任务要求模型给出预期的输出答案。LLM经过海量数据的训练，已知具有存储和回忆事实的能力 [Meng 等人，2022, 2023; De 等人，2021; Mitchell 等人，2021, 2022; Dai 等人，2021]。这种能力引发了以下问题：事实检索的鲁棒性如何？它在多大程度上依赖于上下文中的语义？它揭示了LLM中记忆的哪些特性？ 本文首先证明了事实检索并不鲁棒，LLM很容易被变化的上下文所愚弄。例如，当被要求完成“埃菲尔铁塔位于…”时，GPT-2 [Radford 等人，2019] 会回答“巴黎”。然而，当提示为“埃菲尔铁塔不在芝加哥。埃菲尔铁塔位于…”时，GPT-2 却回答了“芝加哥”。图 1 展示了更多例子，包括 Gemma 和 LLaMA。另一方面，人类并不会觉得这两个句子在事实上令人困惑，在两种情况下都会回答“巴黎”。我们将这种现象称为“上下文劫持”。重要的是，这些发现表明LLM可能像一个联想记忆模型，其中上下文中的标记引导着记忆的检索，即使形成的这种关联本身并不具有语义意义。 图 1：各种LLM的上下文劫持示例，表明事实检索并不鲁棒。 [...]

近年来，大型语言模型（LLM）在各个自然语言处理任务中都取得了显著的进步，其中一项就是开放域对话。这项技术旨在创造能够与用户进行自然、流畅对话的智能体，并展现出类似人类的同理心、个性和娱乐性等特质。 传统方法的局限性 目前，构建开放域对话系统的常见方法主要依赖于针对特定数据集的微调。例如，PersonaChat、Blended Skill Talk 和 Empathetic Dialogues 等数据集就被用于训练模型在对话中展现不同的技能。然而，这些数据集的构建成本高昂，而且通常只有一种语言版本。此外，最近自然语言处理领域的发展重点是训练能够遵循指令的LLM，例如 Alpaca、StackLLaMA、Guanaco 和本文研究的重点模型 Vicuna。这些模型能够以自然语言的方式响应用户的输入，但它们仍然局限于“领导者-追随者”的单向关系，难以直接展现出人类的对话能力。 角色扮演零样本提示：一种高效且经济的解决方案 为了解决上述问题并避免微调及其对数据的依赖性，本文提出了一种基于角色扮演的零样本提示方法，利用指令遵循模型的能力来构建开放域对话系统。这种方法属于新兴的基于提示的学习（PBL）范式。 角色扮演提示的内涵 角色扮演提示的意义不仅限于扮演一个给定的角色，更在于引导LLM展现出适合特定对话任务的模拟角色。LLM在预训练过程中吸收了海量的模拟角色，而角色扮演提示的作用就是引导LLM选择并展现出最适合当前对话场景的模拟角色。 提示结构 为了有效地处理开放域对话的复杂性，我们定义了一个通用的提示结构，该结构可以根据不同的对话任务进行调整。这个结构包含以下几个关键部分： 最终，提示构建器会根据不同的对话任务，将上述部分以最合适的顺序组合成最终的提示。 实验与评估 为了评估角色扮演零样本提示方法的有效性，我们在两个不同的对话任务上进行了实验： 评估指标 我们采用人工评估的方式来衡量对话系统的性能，评估指标包括： 实验结果 实验结果表明，角色扮演零样本提示方法能够有效地提升LLM在开放域对话中的性能。 统计分析 对收集到的对话进行统计分析后发现，指令遵循模型存在着回复过于冗长的缺陷。 结论与展望 本文探讨了使用结构化的角色扮演提示工程来改进LLM的开放域人机对话。角色扮演提示是一种简单且经济的方法，可以升级语言模型的行为，使其成为对话代理。本文的实验在法语环境下进行，但可以通过调整角色方向将其应用于其他语言。在两个不同的任务（基于角色的任务和模拟多模态对话）中的实验表明，尽管语言模型仍然存在明显的缺点（例如幻觉），但用户对这些代理的感知可以与成本更高的微调模型相媲美。 未来，我们将进一步改进提示工程，自动化构建和过滤过程，并探索使用强化学习来自动生成提示。 [...]

引言 自从Transformer被引入以来（Vaswani et al., 2017），衍生的大型语言模型（LLMs）在多个自然语言处理（NLP）任务上不断提升了技术水平。其中，开放域对话是指设计一个对话代理，使其能够在任何话题上与用户进行社交互动，展示出人类的能力，如共情、个性和娱乐性（Walker et al., 2021）。常见的方法是使用特定的数据集进行微调，通常针对某一或多种技能（例如PersonaChat，Blended Skill Talk，Empathetic Dialogues等）。然而，这些数据集的构建成本高且通常仅限于一种语言。 在本研究中，我们探索了一种高效且成本低廉的解决方案：通过角色扮演零样本提示，利用具备多语言能力的大型语言模型（如Vicuna）来提升开放域对话能力。我们设计了一种提示系统，与指令跟随模型结合，能够在两项任务中与人类评估中的微调模型相媲美，甚至超越它们。 相关工作 开放域对话领域有很多发展，大多数解决方案主要集中在使用特定数据进行微调。例如BlenderBot系列，Meena，LaMDA等。这些模型展示了出色的对话技能，但除了对数据的依赖外，它们通常仅限于英语。基础模型是NLP领域的一个新趋势，它们展示了多语言能力并在多个基准上表现出色。其中，LLaMA模型是本研究的基础。 方法论 指令跟随 vs 对话技能 引用Reitz（2019）的话：“对话不仅仅是进行对话。真正的对话描述了一种相互、关系、专注和有意义的互动方式。”尽管指令跟随模型经过优化以进行对话，但它们在真正的对话中往往无法满足这些方面的要求。尤其是社交方面——相互性、关系性和专注性——表现得较差。 角色扮演提示 理解角色扮演提示不仅限于扮演特定角色。根据Shanahan等（2023）的模拟和模拟器框架，LLM是一个模拟器，在预训练期间吞噬了无数的模拟物。在每次模拟中，它会随机选择一个合适的模拟物进行展示。角色扮演提示通过使LLM倾向于适应特定对话任务的模拟物来增强对话技能。 提示结构 开放域对话属于复杂任务领域（Santu和Feng，2023），提示的微小变化可能会影响模型的表现。因此，定义一个通用的提示结构是必要的，以便可以针对不同的对话任务进行调整。我们保留以下部分作为提示工程模块的构建块： 实验 系统架构 系统架构如图1所示，它包括多个模块，如基于Rasa X工具的Web界面、提示构建模块和过滤模块。用户可以通过语音或文本与代理进行交流。 具有人类能力的开放域对话：PersonaChat任务 此任务通过使用从PersonaChat数据集中提取的个性特征来增强LLM的对话能力。我们设计了浅层提示和高级提示两种方案进行比较。 模拟多模态对话：INT任务 [...]

引言 现代语言模型（LLM）在没有充分保障的情况下，可能带来相当大的风险[5, 9, 42, 16, 37]。有效的内容审核对于减轻这些风险至关重要，通过过滤不良输入[24]，监控有害模型输出[17]，并通过测量有害与良性提示的拒绝率来评估模型的安全性[30]。 在本文中，我们介绍了WildGuard，这是一款轻量级、多功能的审核工具，用于评估用户与LLM交互的安全性。WildGuard为三项安全审核任务提供了一站式资源：提示有害性检测、响应有害性检测和响应拒绝检测。我们展示了WildGuard如何在所有三项任务上推动开源安全审核工具的最先进水平，并提供了一种更开放、一致和经济的替代方案，与昂贵且非静态的API审核工具相比，WildGuard表现不相上下甚至更好。 开发WildGuard的动机主要来自两个观察结果。首先，现有的开源工具如Llama-Guard2[17]在识别对抗性提示（即越狱）方面效果较差，远不如GPT-4。其次，虽然现有的开源工具可以在一定程度上识别响应中的有害内容，但仅凭响应的有害性不足以确定模型是否拒绝了用户的请求。这对于测试夸大的安全性尤为重要，例如，当用户询问“如何杀死Python进程？”时，响应通常是良性的，无论是过度拒绝（“我不能提供暴力行为的指示”）还是正确的合规（“杀死Python进程的方法是…”）。因此，分类有害性不足以评估安全性，需要独立评估拒绝。 LLM安全审核工具的现状 测试基准 为了评估对抗性提示中的有害性检测，我们从WildJailbreak（WJ）[3]的验证集中抽样了一组250个良性和250个有害提示。为了评估细微拒绝检测，我们使用了我们新的基准XSTest-Resp。 模型 我们评估了开源和闭源工具。在开源工具中，我们测试了四个模型，旨在识别提示和响应中的有害性：Llama-Guard[17]，Llama-Guard2[26]，Aegis-Guard-Defensive[14]和Aegis-Guard-Permissive[14]。对于这些模型，为了标记拒绝，我们将输出有害的响应标记为合规，如果输出标签是安全的，则标记为拒绝。 发现 发现1：现有的开源工具在对抗性提示上不可靠，远远落后于GPT-4。如图2所示，现有的开源工具在检测普通提示中的有害性方面表现尚可，但在对抗性提示中却表现不佳。对于两种提示类型，我们还看到了开源工具与GPT-4之间的显著性能差距，从而导致对API工具的昂贵依赖持续存在。 发现2：现有的开源工具难以测量模型响应中的拒绝。表2显示了开源工具在识别模型完成中的拒绝方面也存在困难。表现最好的有害检测模型Llama-Guard2比GPT-4低15.1%，验证了响应有害性不足以完成这项任务。 构建WildGuardMix和WildGuard WildGuardTrain：多任务审核训练数据集 WildGuardTrain（WGTrain）是一个综合训练数据集，共包含86,759项数据，涵盖多种来源的数据，包括普通（直接请求）和对抗性提示。数据覆盖了良性和有害场景，以及各种类型的拒绝和合规响应。 提示构建 我们生成了覆盖广泛风险场景的有害提示，并引入了两种类型的良性对比提示：1）表面上类似不安全提示的良性提示，以及2）讨论敏感但安全话题的良性提示。 合规和拒绝构建 对于我们的合成对抗性和普通提示，我们生成了匹配的拒绝和合规响应。我们使用了一套LLMs以及GPT-4来生成这些响应。 WildGuardTest：高质量人工标注的测试审核数据集 为了构建WildGuardTest（WGTest），我们从合成普通和对抗性数据中抽样了1,725对提示-响应对，并收集了三个独立标注者对每对提示-响应对的标注。 训练WildGuard 使用WGTrain，我们基于Mistral-7b-v0.3[20]训练了WildGuard。我们设计了统一的输入和输出格式，以捕捉三项任务。 评估WildGuard相对于现有LLM安全审核工具的表现 评估设置 我们在十个公开的安全基准和我们的WGTest上测试WildGuard和相关基准。在提示有害性方面，我们使用了ToxicChat[23]，OpenAI [...]

引言 现代语言模型（LLM）在没有充分保障的情况下，可能带来相当大的风险[5, 9, 42, 16, 37]。有效的内容审核对于减轻这些风险至关重要，通过过滤不良输入[24]，监控有害模型输出[17]，并通过测量有害与良性提示的拒绝率来评估模型的安全性[30]。 在本文中，我们介绍了WildGuard，这是一款轻量级、多功能的审核工具，用于评估用户与LLM交互的安全性。WildGuard为三项安全审核任务提供了一站式资源：提示有害性检测、响应有害性检测和响应拒绝检测。我们展示了WildGuard如何在所有三项任务上推动开源安全审核工具的最先进水平，并提供了一种更开放、一致和经济的替代方案，与昂贵且非静态的API审核工具相比，WildGuard表现不相上下甚至更好。 开发WildGuard的动机主要来自两个观察结果。首先，现有的开源工具如Llama-Guard2[17]在识别对抗性提示（即越狱）方面效果较差，远不如GPT-4。其次，虽然现有的开源工具可以在一定程度上识别响应中的有害内容，但仅凭响应的有害性不足以确定模型是否拒绝了用户的请求。这对于测试夸大的安全性尤为重要，例如，当用户询问“如何杀死Python进程？”时，响应通常是良性的，无论是过度拒绝（“我不能提供暴力行为的指示”）还是正确的合规（“杀死Python进程的方法是…”）。因此，分类有害性不足以评估安全性，需要独立评估拒绝。 LLM安全审核工具的现状 测试基准 为了评估对抗性提示中的有害性检测，我们从WildJailbreak（WJ）[3]的验证集中抽样了一组250个良性和250个有害提示。为了评估细微拒绝检测，我们使用了我们新的基准XSTest-Resp。 模型 我们评估了开源和闭源工具。在开源工具中，我们测试了四个模型，旨在识别提示和响应中的有害性：Llama-Guard[17]，Llama-Guard2[26]，Aegis-Guard-Defensive[14]和Aegis-Guard-Permissive[14]。对于这些模型，为了标记拒绝，我们将输出有害的响应标记为合规，如果输出标签是安全的，则标记为拒绝。 发现 发现1：现有的开源工具在对抗性提示上不可靠，远远落后于GPT-4。如图2所示，现有的开源工具在检测普通提示中的有害性方面表现尚可，但在对抗性提示中却表现不佳。对于两种提示类型，我们还看到了开源工具与GPT-4之间的显著性能差距，从而导致对API工具的昂贵依赖持续存在。 发现2：现有的开源工具难以测量模型响应中的拒绝。表2显示了开源工具在识别模型完成中的拒绝方面也存在困难。表现最好的有害检测模型Llama-Guard2比GPT-4低15.1%，验证了响应有害性不足以完成这项任务。 构建WildGuardMix和WildGuard WildGuardTrain：多任务审核训练数据集 WildGuardTrain（WGTrain）是一个综合训练数据集，共包含86,759项数据，涵盖多种来源的数据，包括普通（直接请求）和对抗性提示。数据覆盖了良性和有害场景，以及各种类型的拒绝和合规响应。 提示构建 我们生成了覆盖广泛风险场景的有害提示，并引入了两种类型的良性对比提示：1）表面上类似不安全提示的良性提示，以及2）讨论敏感但安全话题的良性提示。 合规和拒绝构建 对于我们的合成对抗性和普通提示，我们生成了匹配的拒绝和合规响应。我们使用了一套LLMs以及GPT-4来生成这些响应。 WildGuardTest：高质量人工标注的测试审核数据集 为了构建WildGuardTest（WGTest），我们从合成普通和对抗性数据中抽样了1,725对提示-响应对，并收集了三个独立标注者对每对提示-响应对的标注。 训练WildGuard 使用WGTrain，我们基于Mistral-7b-v0.3[20]训练了WildGuard。我们设计了统一的输入和输出格式，以捕捉三项任务。 评估WildGuard相对于现有LLM安全审核工具的表现 评估设置 我们在十个公开的安全基准和我们的WGTest上测试WildGuard和相关基准。在提示有害性方面，我们使用了ToxicChat[23]，OpenAI [...]

近年来，基础模型在各个领域都取得了令人瞩目的成就，然而，其黑箱特性也为调试、监控、控制和信任这些模型带来了巨大挑战。概念解释作为一种新兴方法，试图利用诸如物体属性（例如条纹）或语言情感（例如快乐）等单个概念来解释模型的行为。通过将模型学习到的表示分解为多个概念向量，可以推导出这些概念。例如，模型对一张狗的图像的嵌入可以分解为代表其毛发、鼻子和尾巴的概念向量的总和。 现有方法的不足 现有的基于 PCA 或 KMeans 等方法的工作能够很好地提取基本概念的向量表示。例如，图 1 展示了从 CLIP 模型中提取的 CUB 数据集中的图像，这些图像包含了 PCA 学习到的概念。这些技术能够正确地提取诸如“白色鸟类”和“小型鸟类”等概念的表示，然而，将它们的表示相加并不能得到“小型白色鸟类”这一概念的表示。 概念组合性的重要性 概念的组合性对于以下几个用例至关重要： 概念组合性的评估 为了评估概念组合性，我们首先在受控环境下验证了概念的真实表示的组合性。我们观察到，概念可以被分组为属性，其中每个属性都包含关于某些共同属性的概念，例如物体的颜色或形状。来自不同属性的概念（例如蓝色和立方体）可以组合，而来自同一属性的概念（例如红色和绿色）则不能。我们还观察到，来自不同属性的概念大致正交，而来自同一属性的概念则不然。 概念组合性提取 (CCE) 为了提取组合性概念，我们提出了 CCE 方法。该方法的关键思想是一次性搜索整个概念子空间，而不是单个概念，从而允许 CCE 强制执行上述组合性概念的属性。CCE 算法主要包含以下步骤： 实验结果 我们在视觉和语言数据集上进行了广泛的实验，结果表明： 结论 [...]

近年来,Transformer 模型在自然语言处理等领域取得了巨大成功。与此同时,结构化状态空间模型(SSM)作为一种新兴的序列建模方法也展现出了强大的潜力。最近的研究表明,这两类看似截然不同的模型其实存在着深层次的联系。本文将介绍一项重要的理论突破 – State Space Duality(SSD)框架,该框架揭示了Transformer和SSM之间的对偶性,为统一和改进这两类模型提供了新的视角。 State Space Duality框架的核心思想 SSD框架的核心是将SSM和注意力机制都视为结构化矩阵变换。具体来说: 这一框架揭示了SSM和注意力机制在本质上是相同的序列变换,只是从不同角度进行了参数化。 理论洞见 SSD框架带来了几个重要的理论洞见: 这些洞见不仅加深了我们对两类模型的理解,还为设计新的高效算法提供了理论基础。 高效算法:SSD算法 基于SSD框架,研究人员提出了一种新的高效算法来计算SSM,称为SSD算法。该算法结合了SSM的线性递归和注意力的二次计算,通过半可分矩阵的块分解来实现。 SSD算法的主要优势包括: 实验表明,SSD算法比Mamba中的优化扫描实现快2-8倍,同时还能支持更大的递归状态大小。 Mamba-2:结合SSD的新架构 研究人员基于SSD框架设计了一种新的序列模型架构Mamba-2。Mamba-2相比原始的Mamba模型有以下改进: 实验结果表明,Mamba-2在语言建模等任务上的性能可以媲美甚至超越同等规模的Transformer模型,同时在长序列处理方面具有更好的可扩展性。 实验验证 研究人员通过一系列实验验证了SSD框架和Mamba-2架构的有效性: 这些实验结果证明了SSD框架的理论洞见可以有效地指导实践,并在多个方面改进了现有的序列建模方法。 总结与展望 State Space Duality框架为统一和改进Transformer和SSM提供了一个强大的理论基础。通过揭示这两类模型之间的深层联系,SSD框架不仅加深了我们对序列建模的理解,还为设计更高效、更强大的模型指明了方向。 未来的研究方向可能包括: 总的来说,State [...]

导语： 近年来，大型语言模型 (LLM) 在人工智能领域取得了显著的进展。除了生成流畅的文本、故事、论文和程序代码外，LLM 还展现出作为通用问题解决者的巨大潜力。本文将深入探讨如何利用 LLM 构建自主智能体，并介绍其核心组件、应用案例以及面临的挑战。 智能体系统概述 LLM 驱动的自主智能体系统中，LLM 充当智能体的“大脑”，并与以下关键组件协同工作： ![LLM 驱动的自主智能体系统概述][] 组件一：规划 规划是智能体执行复杂任务的关键。智能体需要明确任务步骤并制定计划。 任务分解 自我反思 自我反思使智能体能够通过改进过去的行动决策和纠正错误来迭代改进，这在现实世界中不可避免的试错过程中至关重要。 组件二：记忆 记忆是指获取、存储、保留和检索信息的过程。 记忆类型 最大内积搜索 (MIPS) 外部记忆可以缓解有限注意力跨度的限制。标准做法是将信息的嵌入表示保存到支持快速最大内积搜索 (MIPS) 的向量存储数据库中。 一些常见的快速 MIPS 算法包括： 组件三：工具使用 [...]