Category: AGI

在当今高速发展的技术时代，多模态大型语言模型（MLLMs）在复杂的交互任务中展现出了巨大的潜力。尤其是在图形用户界面（GUI）环境中，这些多模态代理能够模拟人类行为，以实现用户指定的目标。然而，随着这些代理的广泛应用，一个重要的问题逐渐浮出水面：它们在面对环境中的干扰时，能否保持对用户目标的忠诚和信任？ 本研究旨在探讨多模态GUI代理在环境干扰下的信任性，特别关注环境中的非恶意但潜在干扰内容如何影响代理的决策和行为。通过构建一个包含多种干扰因素的模拟数据集，我们对多种MLLMs进行了评估，结果表明，即使是最强大的模型在面对环境中的干扰时也难以保持稳定的表现。 背景研究 多模态大型语言模型 多模态大型语言模型通过结合视觉、文本和其他模态信息，极大地提高了机器理解和操作的能力。这些模型通常包括模态编码器、语言模型和适配器，用以实现不同模态之间的有效融合。例如，OpenAI的GPT-4和其他先进模型通过引入视觉信息，能够在操作系统中执行复杂任务，如点击按钮、填写表单等。 GUI代理的工作机制 GUI代理的核心在于其能理解和回应用户的输入，通过感知环境状态（如屏幕内容）并预测后续的动作来实现特定的目标。当用户请求代理执行任务时，代理需要从环境中提取相关信息，并依据这些信息做出决策。近年来，随着技术的发展，越来越多的研究开始关注如何使这些代理在复杂的GUI环境中更加高效地操作。 语言代理的风险 尽管多模态代理在性能上取得了显著进展，但其潜在风险也日益显现。代理的输出可能会受到环境干扰的影响，从而导致不一致的行为。过去的研究主要集中在代理的有用性（即动作的准确性）上，而对其在复杂环境中的干扰脆弱性却鲜有关注。 环境干扰对GUI代理的影响 问题陈述 在多模态环境中，GUI代理的信任性面临着巨大的挑战。当代理在执行任务时，环境中出现的干扰内容（如广告弹窗、推荐信息等）可能会导致代理偏离用户的初始目标。我们的研究定义了一个问题：在用户和代理均为善意的情况下，环境中的干扰内容对代理的影响程度如何？ 干扰模拟 为了探讨这一问题，我们构建了一个包含多种干扰场景的模拟数据集，涵盖了弹窗、搜索、推荐和聊天四种常见情况。在每种情况下，我们设计了不同的干扰内容，以观察这些内容如何影响代理的行为。 例如，在弹窗场景中，用户的目标可能是浏览某个网站，但弹窗中出现的广告可能会干扰代理的决策，导致其误点击广告内容而非用户期望的内容。 评估方法 我们对代理的行为进行了评估，将其输出的动作标记为“金标准动作”（即符合用户目标的动作）、“干扰动作”（即受到环境干扰的动作）和“无效动作”（即不在可用动作范围内的动作）。通过对比这些动作，我们能够量化代理在不同场景下的信任性和有效性。 实验设计与结果分析 实验实施 我们在十种流行的多模态大型语言模型上进行了实验，结果显示，无论是通用代理还是专用GUI代理，都对环境干扰表现出易受影响的特征。尽管增强环境感知能力是一种常见策略，但我们的实验结果表明，这种增强并不足以显著减轻干扰影响。 主要结果 在弹窗、搜索、推荐和聊天四种场景下，我们发现多模态代理在执行用户目标时，受到环境干扰的概率显著高于预期。例如，在弹窗场景中，代理的干扰动作比例高达30%以上，显示出其在复杂环境中的脆弱性。 分析与比较 在对不同模型的比较中，强大的API（如GPT-4o）在执行任务时表现出较好的信任性，其干扰动作比例相对较低。而开源模型（如GLM-4v）则显示出更高的干扰脆弱性。这一结果表明，模型的设计和训练方式对其在复杂环境中的表现有着直接影响。 面向对抗性视角的讨论 在探讨多模态代理的脆弱性时，我们不仅关注其在正常环境下的表现，也考虑了潜在的对抗性威胁。通过对环境进行干扰注入，我们可以故意引导代理执行错误的动作。例如，通过改变弹窗按钮的文本，使其在用户意图与环境内容之间产生歧义，从而诱导代理选择错误的动作。 攻击模型 我们设计了一种简单有效的攻击方法，通过修改弹窗中的按钮文本，使其对用户产生误导。这种技术可以在不改变用户目标的情况下，通过环境干扰来影响代理的决策，展示了多模态代理在面对恶意干扰时的脆弱性。 结论 本研究揭示了多模态GUI代理在环境干扰下的信任性问题，强调了在设计和应用这些代理时，必须考虑环境内容对其行为的影响。我们的实验结果表明，即使在用户和代理均为善意的情况下，环境中的干扰内容也可能导致代理失去对用户目标的忠诚。 [...]

在人工智能发展的关键时刻,Meta公司发布了其最新一代大语言模型Llama 3,标志着向负责任的通用人工智能(AGI)迈出重要一步。这个开源发布的模型群在多项基准测试中展现出与GPT-4等领先模型相当的能力,同时在有益性和无害性之间保持了更好的平衡。 模型规模与训练细节 Llama 3包含8B、70B和405B参数三个版本,其中最大的405B参数版本是一个具有126层、16,384个令牌表示维度和128个注意力头的密集Transformer模型。它在15.6万亿个多语言令牌上进行了预训练,使用了总计$3.8 \times 10^{25}$次浮点运算。 Meta研究人员表示,他们在开发过程中重点关注三个关键因素:数据质量与数量、模型规模、以及复杂性管理。在数据方面,相比Llama 2的1.8万亿令牌,Llama 3使用了约15万亿的多语言令牌进行预训练。在规模上,405B参数的旗舰版本比Llama 2的最大版本多近50倍的计算量。 在复杂性管理方面,研究团队选择了标准的密集Transformer架构,而非专家混合模型,以最大化训练稳定性。他们还采用了相对简单的后训练程序,基于监督微调(SFT)、拒绝采样(RS)和直接偏好优化(DPO),而非更复杂的强化学习算法。 突破性能力与评估结果 Llama 3展现出全面的语言理解与生成能力。在多项基准测试中,它的表现与GPT-4等顶级模型相当,甚至在某些任务上超越了它们。 在MMLU(多任务语言理解)测试中,Llama 3 405B模型达到了87.8%的准确率,接近GPT-4的86.4%。在AI2推理挑战赛中,Llama 3的得分为91.8%,超过了GPT-4的87.0%。在数学推理能力方面,Llama 3在GSM8K基准上取得了94.2%的准确率,相比GPT-4的92.0%也有所领先。 此外,Llama 3还展现出强大的代码生成与理解能力。在HumanEval基准测试中,它达到了88.0%的通过率,与GPT-4的的67.0%相比有显著提升。在MBPP基准上,Llama 3的得分为78.0%,同样超过了GPT-4的的64.1%。 Meta研究人员强调,Llama 3不仅在英语任务上表现出色,在多语言能力方面也有重大突破。例如,在MGSM基准(涵盖多种语言的数学问题)上,Llama 3达到了87.5%的准确率,远超GPT-4的58.2%。 创新训练方法与架构设计 Llama 3的成功离不开其创新的训练方法和架构设计。研究团队采用了一种分阶段的训练策略,包括初始预训练、长上下文预训练和退火三个阶段。 在初始预训练阶段,模型使用余弦学习率计划,峰值学习率为$8 [...]

在人工智能领域,基于大型语言模型(LLM)的AI代理正引发新一轮技术革命。这些AI代理能够像人类一样感知环境、做出决策并执行行动,在机器人规划、旅行规划等领域展现出巨大潜力。然而,如何提升AI代理的规划能力一直是一个挑战。最近,微软研究院联合香港大学的研究人员提出了一种名为AGENTGEN的创新框架,有望在这一问题上取得重大突破。 传统方法存在局限性 目前提升AI代理规划能力的主流方法是通过指令微调(instruction tuning)来训练大型语言模型。具体而言,研究人员会构建一些规划任务和环境,让AI代理在其中执行并收集高质量的轨迹数据(动作-观察序列),然后用这些数据来微调语言模型。 然而,这种方法存在一个关键瓶颈:构建多样化的环境和任务需要大量人工劳动。设计一个环境不仅要定义丰富而实用的场景,还需要编程技能来实现。制定任务则需要创建一套难度递进的任务集。由于这些限制,现有研究通常只能使用少量环境来生成训练数据。 AGENTGEN:自动构建海量环境和任务 为了突破这一瓶颈,微软研究院联合香港大学的研究人员提出了AGENTGEN框架。该框架利用大型语言模型自动构建多样化的环境和规划任务,将可用的环境数量从几个扩展到数百个。AGENTGEN主要包括两个阶段: 1. 环境生成 为了生成足够多样化的环境,研究人员使用了一个灵感语料库作为上下文。具体来说,他们首先从灵感语料库中随机选择一段文本,然后提示大型语言模型生成相关的环境规范,包括动作、限制等细节。例如,从语料库中选择”如何用花生酱粉提升你的饮食?”这段文本后,语言模型生成了一个相关的环境规范:”你是一名营养师,负责创作一本新的健康食谱,将花生酱粉作为关键成分”。 接下来,研究人员让语言模型根据这个规范生成相应的代码,可以是Python、PDDL(Planning Domain Definition Language)或其他特定领域语言。他们还构建了一个环境库,作为上下文示例,并通过迭代方式不断扩充高质量的新生成环境。 2. 任务生成 在生成环境的基础上,AGENTGEN还会创建多个规划任务。为了实现任务难度的多样性,研究人员提出了一种双向演化方法BI-EVOL。具体而言,语言模型首先生成一些随机规划任务,然后通过施加约束朝简化和增加难度两个方向演化这些任务。这种方法创建的任务集具有平滑的难度曲线,有助于语言模型更顺畅地获取规划技能。 实验验证AGENTGEN有效性 为了验证AGENTGEN的有效性,研究人员基于PDDL语言合成了环境和规划任务,构建了一个包含592个环境、每个环境20个任务的数据集。他们使用独立于领域的规划器获得了7,246条高质量轨迹。随后,研究人员使用这些轨迹数据对一系列语言模型进行指令微调,并在AgentBoard上展示了训练后的模型性能。 实验结果表明,AGENTGEN在领域内任务上比原始的LLama3-8B模型提高了5倍以上(11.67 vs 1.67),总体表现超过了GPT-3.5。在某些特定任务上,它甚至超越了GPT-4的表现。在领域外任务上,AGENTGEN也展现了类似的实验结果。具体而言,它显著提高了成功率,在Alfworld和BabyAI上分别实现了29.1和4.47的提升。在Alfworld上,AGENTGEN甚至超过了GPT-3.5的表现(29.1 vs 17.2)。 AGENTGEN的意义与展望 AGENTGEN框架的提出具有重要意义: AGENTGEN为提升AI代理的规划能力开辟了一条新路径。未来,研究人员可能会进一步扩展这一框架,使其适用于更多类型的AI代理场景,如记忆、工具使用等。这将为构建更强大、更通用的AI代理奠定基础,推动人工智能向着更高层次发展。 (参考文献: Hu, M., [...]

在人工智能领域,大型语言模型(Large Language Models, LLMs)的发展如火如荼。作为这一领域的佼佼者,Llama系列模型一直备受关注。随着Llama 3的横空出世,其在模型架构、训练方法等方面的创新再次引发业界热议。本文将深入探讨Llama 3模型在训练过程中采用的多维度损失函数策略,揭示其如何通过精心设计的损失函数组合,打造出更加强大、灵活的语言模型。 损失函数:大语言模型的指路明灯 在机器学习领域,损失函数扮演着至关重要的角色。它就像是为模型指明方向的指南针,引导模型不断调整参数,最终达到预期的效果。对于大型语言模型而言,损失函数的设计直接影响着模型的学习效果和最终性能。 Llama 3模型的成功,很大程度上归功于其采用的多维度损失函数策略。这种策略不仅包含了传统的交叉熵损失,还融合了多种创新性的损失函数,形成了一个全方位、多角度的学习目标体系。 Llama 3的损失函数全家福 1. 交叉熵损失函数:基础中的基础 交叉熵损失函数是Llama 3模型的主要损失函数。它源于信息论,用于衡量模型预测的概率分布与真实概率分布之间的差异。在语言模型中,交叉熵损失函数的计算公式如下: $L_{CE} = -\sum_{i=1}^{n} y_i \log(\hat{y}_i)$ 其中,$y_i$是真实标签,$\hat{y}_i$是模型预测的概率。 交叉熵损失函数的工作原理可以类比为教导一个学生写作。想象一下,我们给学生一篇范文,然后让他尝试续写。每当学生写出一个词,我们就会根据这个词与范文中相应位置的词的匹配程度给出反馈。如果学生写出的词与范文完全一致,那么损失就很小;反之,如果写出的词与范文相差甚远,损失就会很大。通过这种方式,学生(模型)会逐渐学会如何更准确地预测下一个词,从而提高写作(生成文本)的能力。 2. 标签平滑:为模型注入”谦逊” 在Llama 3的训练过程中,研究人员还引入了标签平滑技术。这种技术的本质是将原本”硬性”的标签稍微”软化”。例如,原本的标签可能是[0, 0, 1, 0],表示第三个选项是正确答案。经过标签平滑后,它可能变成[0.05, [...]

在人工智能和自然语言处理领域,信息抽取一直是一个备受关注的研究方向。传统的信息抽取方法往往需要为每个具体任务设计特定的模型,这不仅增加了开发成本,也限制了模型在不同任务间的知识共享。近日,来自国际数字经济研究院、华南理工大学等机构的研究人员提出了一种名为UniEX的新型通用信息抽取框架,有望彻底改变这一现状。 统一视角下的信息抽取 UniEX框架的核心思想是将各种信息抽取任务统一看作是对文本中片段(span)的检测、分类和关联问题。研究人员发现,不同的信息抽取任务本质上都涉及确定语义角色和语义类型,而这些都可以转化为文本片段的形式。 例如,命名实体识别任务可以看作是检测语义角色的边界并对其进行分类;关系抽取则可以视为在特定语义角色之间建立语义关联。基于这一洞察,UniEX框架将信息抽取任务分解为三个基本操作: 这种统一的视角使得UniEX框架能够以相同的方式处理各种信息抽取任务,包括命名实体识别、关系抽取、事件抽取和情感分析等。 创新的架构设计 为了实现这一统一的抽取范式,UniEX框架采用了多项创新设计: UniEX采用了一种规则化的转换方法,将各种抽取目标和统一的输入格式进行桥接。具体来说,它利用带有标识符的特定任务标签作为基于模式的提示,以学习通用的信息抽取知识。 例如,对于一个命名实体识别任务,输入可能是这样的: 这种设计使模型能够同时编码基于模式的提示和文本信息。 研究表明,具有双向上下文表示的自编码语言模型更适合自然语言理解任务。因此,UniEX采用了类似BERT的语言模型来构建其基础抽取架构,以进行底层语义编码。 UniEX引入了一种名为”三仿射注意力机制”(triaffine attention mechanism)的新技术来进行结构解码。这种机制能够同时考虑多个因素之间的高阶交互,包括任务、标签和内部标记。每个三仿射评分矩阵都分配给一个特定需求的提示,以获得基于片段的抽取目标。 具体来说,UniEX首先使用两个独立的前馈神经网络来创建内部标记的起始/结束位置的不同表示。然后,它应用深度三仿射变换,使用权重矩阵 $W \in R^{d×d×d}$ 来聚合基于模式的片段表示。这个过程可以用以下公式表示: $H^s_x = FFNs(H_x)$$H^e_x = FFNe(H_x)$$S = σ(W ×_1 H_s ×_2 H^s_x [...]

雷·库兹韦尔：人工智能不仅仅是数字革命，更将彻底改变人类生活 在数字世界掀起波澜之后，人工智能(AI)正准备跨越虚拟与现实的鸿沟，向物理世界发起冲击。这场革命性的变革将给人类带来无数好处，但其中三个领域的影响尤为深远：能源、制造业和医药。作为在AI领域工作了61年的资深专家，我有幸见证了这一技术从科幻小说般的构想逐步成为全球关注的焦点。然而，大多数评论都忽视了像ChatGPT和Gemini这样的大型语言模型如何融入一个更宏大的故事中。 太阳能：清洁能源的未来之星 能源是人类文明最基本的资源之一。两个世纪以来，世界一直依赖着肮脏、不可再生的化石燃料。然而，仅利用地球接收阳光的0.01%就足以满足人类所有的能源消耗。自1975年以来，太阳能电池每瓦容量的成本已经下降了99.7%，使得全球太阳能装机容量增加了约200万倍。那么，为什么太阳能还没有成为主导能源呢？ 问题主要有两个方面。首先，光伏材料仍然太昂贵且效率不高，无法完全取代煤炭和天然气。其次，由于太阳能发电量存在昼夜和季节性的变化，需要存储大量能源以备不时之需——而当今的电池技术在成本效益上还不够理想。物理定律表明，在这些方面有巨大的改进空间，但化学可能性的范围如此之大，以至于科学家们的进展一直非常缓慢。 相比之下，AI可以在模拟中快速筛选数十亿种化学成分，并且已经在推动光伏和电池领域的创新。这一进程正准备大幅加速。直到2023年11月之前的整个人类历史中，我们只发现了约20,000种可用于各种技术的稳定无机化合物。然而，谷歌的GNoME AI一夜之间就将这个数字增加到了421,000。这仅仅是材料科学应用的冰山一角。一旦智能水平更高的AGI（通用人工智能）找到完全优化的材料，大型光伏项目将变得可行，太阳能将变得如此丰富，几乎可以免费使用。 制造业革命：从稀缺到丰裕 能源的丰富将引发另一场革命：制造业的变革。几乎所有商品的成本——从食品和服装到电子产品和汽车——主要来自几个共同因素，如能源、劳动力（包括研发和设计等认知劳动）和原材料。AI正在大幅降低所有这些成本。 在廉价、丰富的太阳能之后，下一个组成部分是人类劳动力，这通常是艰苦和危险的。AI在机器人技术方面正在取得重大进展，可以大大降低劳动力成本。机器人技术还将降低原材料提取成本，而AI正在寻找用锆、硅和碳基石墨烯等常见元素替代昂贵稀土元素的方法。总的来说，这意味着大多数种类的商品将变得异常便宜和丰富。 这些先进的制造能力将使计算的性价比保持过去一个世纪的指数轨迹——自1939年以来提高了75万亿倍。这是由于一个反馈循环：今天最先进的AI芯片被用来优化下一代芯片的设计。就每秒每美元的计算次数而言，去年11月最好的硬件可以达到480亿次。而英伟达新的B200 GPU已经超过5000亿次。 生物医学革命：从近似到精确 随着我们建立起模拟生物学所需的巨大计算能力，我们将解锁AI带来的第三次物理革命：医学。尽管在过去200年中取得了巨大进展，但我们对人体的理解仍然建立在混乱的近似之上，这些近似通常对大多数患者来说大体正确，但可能对你个人并不完全适用。每年有数万美国人因服用研究表明应该有帮助的药物而死亡。 然而，AI正开始将医学转变为一门精确的科学。分子生物模拟——一种帮助研究人体和药物作用机制的精确计算机建模——可以快速评估数十亿个选项，找到最有前景的药物，而不是在实验室中进行耗时的试错。去年夏天，第一种由AI从头到尾设计的药物进入了二期临床试验，用于治疗特发性肺纤维化，这是一种肺部疾病。现在，数十种其他由AI设计的药物正在进入临床试验阶段。 随着模拟融入AI带来的更丰富数据，药物发现和试验流程将被大大加速。在2022年之前的整个人类历史中，科学家们只确定了约19万种蛋白质的形状。而在那一年，DeepMind的AlphaFold 2发现了超过2亿种，这些发现已免费向研究人员开放，以帮助开发新的治疗方法。 还需要进行更多的实验室研究来准确填充更大的模拟，但路线图已经很清晰。接下来，AI将模拟蛋白质复合物，然后是细胞器、细胞、组织、器官，最终是整个身体。 这最终将取代今天的临床试验，后者昂贵、风险高、速度慢且统计学上缺乏说服力。即使在三期试验中，可能也没有一个受试者在基因、生活方式、合并症、药物相互作用和疾病变异等所有相关因素上与你完全匹配。 数字试验将让我们能够为每个患者量身定制药物。这潜力令人惊叹：不仅可以治愈癌症和阿尔茨海默病等疾病，还可以消除衰老本身的有害影响。 长寿逃逸速度：人类寿命的飞跃 今天，科学进步每年为普通美国人或英国人增加6到7周的预期寿命。当AGI让我们完全掌握细胞生物学时，这些增长将急剧加速。一旦预期寿命的年度增长达到12个月，我们就将实现”长寿逃逸速度”。对于那些勤于保持健康习惯并使用新疗法的人来说，我相信这将在2029年到2035年之间发生——届时，衰老将不会增加他们的年度死亡概率。由于计算的价格性能指数呈指数级提高，起初昂贵的AI驱动疗法将很快变得广泛可用。 这是AI最具变革性的承诺：更长、更健康的生命，不再受制于自人类诞生以来一直限制我们的稀缺和脆弱。 结语：AI时代的新篇章 随着AI技术的不断进步，我们正站在一个新时代的门槛。能源、制造和医疗领域的革命性变化将重塑人类社会的方方面面。廉价清洁的能源将推动经济增长，先进的制造技术将使商品更加affordable，而精准医疗的发展则有望大幅延长人类寿命。 然而，这一切的实现还需要时间和持续的努力。我们必须谨慎地权衡AI带来的机遇和挑战，确保这些技术造福全人类，而不是加剧不平等。同时，我们也要保持警惕，防范可能出现的风险和滥用。 无论如何，AI正在开启一个充满无限可能的新时代。我们有理由对未来充满期待，同时也要为迎接这个新时代做好准备。让我们共同努力，塑造一个更美好、更智能的未来。 参考文献： [...]

在人工智能快速发展的今天，各大科技公司和初创企业纷纷推出自己的大语言模型（LLM），并声称在某些方面超越了竞争对手。然而，这些声明的可信度如何？本文将深入探讨AI模型评估指标的可靠性问题，以及当前基准测试面临的挑战。 基准测试的重要性 基准测试在AI领域扮演着至关重要的角色。斯坦福大学以人为本人工智能研究所的Percy Liang指出，基准测试不仅”定义并推动进步”，还能告诉模型开发者他们在竞争中所处的位置，激励他们不断改进。此外，基准测试还能： 初创公司Hugging Face的LLM评估专家Clémentine Fourrier强调了基准测试在实际应用中的重要性。然而，她同时警告说，基准测试分数”应该谨慎对待”。 基准测试的局限性 1. 自我评分的问题 模型开发者实际上是在给自己的产品打分，这可能导致结果偏差。他们往往利用这些结果来炒作产品，抬高公司估值。Fourrier博士指出，这种宏伟的声明往往与现实世界的表现不符。 2. 基准测试难度不足 以MMLU（大量多任务语言理解）为例，这个在2020年创建的基准测试对于当今的模型来说已经变得过于简单。MMLU包含15,908个多项选择题，涵盖57个主题，包括数学、美国历史、科学和法律等。 这种情况被称为”饱和”问题。Fourrier博士形象地比喻道：”这就像用初中生的考试来给高中生打分。” 3. 难以区分顶级模型 当多个顶级模型在同一基准测试上的得分非常接近时，很难判断哪个模型更优秀。例如： 这些微小的差异可能不足以反映模型在实际应用中的真实表现差异。 应对基准测试挑战的新方法 为了解决现有基准测试的局限性，研究者们正在开发更具挑战性的评估方法： 1. MMLU-Pro 这是MMLU的升级版，具有以下特点： 2. GPQA GPQA被描述为”博士水平的MMLU”，专注于选定的科学主题。目前，最佳模型在GPQA上的得分通常在50%到60%之间，这表明它确实更具挑战性。 3. MuSR（多步骤软推理） MuSR旨在测试AI模型的推理能力，使用如侦探推理场景等复杂任务。这种测试要求模型能够： [...]

在人工智能领域,基于大型语言模型(LLM)的智能体正日益受到关注并广泛应用。然而,如何提升这些AI智能体的规划能力一直是一个挑战。近日,来自香港大学和微软的研究团队提出了一个名为AGENTGEN的创新框架,通过自动生成大量多样化的训练环境和任务,显著增强了LLM智能体的规划能力。这一突破性研究成果发表在最新一期的arXiv预印本平台上。 智能体规划能力的关键性与局限性 规划能力是LLM智能体的核心组成部分之一,涉及与环境交互并执行一系列动作以完成从初始状态到目标状态的任务。近期的研究表明,利用专家级轨迹数据(动作-观察对序列)对LLM进行指令微调,可以有效提升其规划能力。 然而,现有工作主要依赖于从人工设计的规划任务和环境中合成轨迹。创建这些环境和任务的劳动密集性严重阻碍了生成足够多样化和广泛的轨迹数据。正如论文作者所指出:”设计多样化环境需要定义一系列丰富而实用的场景,而实现这些环境通常需要具备编程技能的人类专家参与。此外,制定任务通常需要创建一个逐步提高难度的任务集。” AGENTGEN:自动生成环境和任务的创新框架 为解决上述限制,研究团队提出了AGENTGEN框架,利用LLM首先生成环境,然后基于这些环境生成规划任务。该框架主要包括两个阶段: 1. 环境生成 为确保足够的环境多样性,研究人员使用了由各种领域特定文本段组成的”灵感语料库”作为生成环境规范的上下文。例如,从灵感语料库中随机选择一段文本”如何用花生酱粉提升你的饮食?”这促使生成了相关的环境规范:”你是一名营养师,负责创作一本新的健康食谱,将花生酱粉作为关键成分。” 随后,研究人员提示LLM基于此规范生成相应的代码,可能由Python、规划领域定义语言(PDDL)或其他特定领域语言组成。此外,他们还构建了一个环境库,作为上下文示例,并通过迭代纳入新生成的高质量环境来不断扩展。 2. 任务生成 在生成环境的基础上,研究团队旨在创建多个规划任务。在这个阶段,关键是要有一个从简单到困难的渐进式任务集。为实现更大的难度多样性,他们提出了一种双向演化方法BI-EVOL。 具体而言,LLM首先生成随机规划任务,然后通过应用约束条件向简化和增加难度两个方向演化这些任务。这种方法创建了一个具有平滑难度曲线的任务集,有助于LLM更顺畅地获取规划技能。 研究人员解释道:”BI-EVOL引入了两个方向的演化:简化演化和难化演化。简化演化通常涉及简化目标条件,这有助于在智能体表现不佳且无法直接从典型的困难目标中学习时促进学习。相反,难化演化通常涉及使目标条件更复杂,增加智能体完成任务所需的步骤数。这可以进一步增强智能体执行规划任务的能力。” 实验验证:AGENTGEN的显著成效 为验证AGENTGEN的有效性,研究团队基于PDDL合成了环境和规划任务,构建了一个包含592个环境的数据集,每个环境有20个任务。他们使用领域无关规划器获得了7,246个高质量轨迹。随后,他们使用这些轨迹数据对一系列LLM进行了指令微调,并在AgentBoard上展示了训练后的模型性能。 实验结果表明,AGENTGEN在领域内任务上相比原始LLama3-8B取得了5倍以上的提升(11.67 vs. 1.67),整体表现超过了GPT-3.5。在某些特定任务上,它甚至超越了GPT-4的表现。在领域外任务中,AGENTGEN也展现了类似的实验成果。具体而言,它显著提高了成功率,在Alfworld和BabyAI上分别取得了29.1和4.47的提升。在Alfworld上,AGENTGEN甚至超越了GPT-3.5的表现(29.1 vs. 17.2)。 研究人员强调:”尽管参数规模相对较小,AGENTGEN在总体成功率上仍然优于GPT-3.5(11.67 vs. 5.0)。此外,在调酒师任务中,AGENTGEN甚至超越了GPT-4的表现(15 vs. 10)。与其他具有类似参数规模的模型相比,AGENTGEN在四个不同任务中始终表现出色。” 未来展望与潜在影响 AGENTGEN框架的提出为增强LLM智能体的规划能力开辟了新的可能性。通过自动生成大量多样化的环境和任务,该方法不仅显著提升了模型性能,还展现出良好的泛化能力。 研究团队指出:”AGENTGEN不仅在领域内任务上表现出色,在领域外任务中也取得了显著进步,这进一步证实了我们方法的有效性和泛化能力。” [...]