从工程中心化到数据中心化：语言智能体自我进化的未来之路从工程中心化到数据中心化：语言智能体自我进化的未来之路
导言：迈向通用人工智能的探索 近年来，人工智能领域一直在探索通往通用人工智能（AGI）的道路。其中一个重要的方向是开发“语言智能体”。这些智能体是基于大型语言模型（LLM）的复杂管道，结合了提示技术和工具使用方法。虽然语言智能体在许多现实任务中展现出了令人印象深刻的能力，但目前的研究存在一个根本性的局限性：它们以模型为中心，或者说是以工程为中心。这意味着，语言智能体的提示、工具和管道的改进需要人类专家的大量手动工程工作，而不是自动地从数据中学习。 工程中心化语言智能体的局限性 当前语言智能体开发的一个主要瓶颈是构建和定制特定任务的语言智能体系统所需的大量工程工作。具体来说，研究人员和开发人员必须手动将复杂的任务分解成更易于LLM处理的子任务（我们称之为节点），然后为特定节点精心设计提示和工具，包括API函数、知识库、记忆等等。这一过程的复杂性使得当前的语言智能体研究领域以模型为中心，或者说是以工程为中心。这意味着研究人员几乎不可能像以数据为中心的方式训练神经网络那样，在数据集上手动调整或优化语言智能体。这限制了手动编码的语言智能体的鲁棒性和通用性，并且需要大量的工程工作来使语言智能体适应新的任务或数据分布。 我们认为，从以工程为中心的语言智能体开发过渡到以数据为中心的学习是语言智能体研究的重要一步。 智能体符号学习：模拟神经网络的训练过程 为了解决上述问题，本文介绍了一种用于训练语言智能体的智能体符号学习框架。该框架的灵感来自于用于训练神经网络的连接主义学习过程。具体来说，我们将语言智能体与神经网络进行了类比： 通过这种方式，我们能够在智能体训练的背景下，使用基于语言的损失、梯度和权重来实现连接主义学习的主要组成部分，即反向传播和基于梯度的权重更新。 智能体符号学习框架的工作流程 智能体符号学习框架的工作流程如下： 智能体符号学习的优势 与现有的单独优化单个提示或工具的方法相比，智能体符号学习框架联合优化了智能体系统中的所有符号组件，包括提示、工具以及将它们堆叠到智能体系统中的管道。这种自上而下的优化方案还使智能体符号学习框架能够“整体地”优化智能体系统，避免了每个分离组件的局部最优。这使得针对复杂现实问题的语言智能体能够有效地从数据中学习，为将当前的语言智能体研究状态从以工程为中心转变为以数据为中心开辟了可能性。 此外，由于基于语言的损失函数在生成语言损失时不需要ground-truth，因此我们的框架使语言智能体能够从经验中学习，并在创建和部署到实际环境中后，刻意更新其所有符号组件，从而实现“自我进化智能体”。 实验结果和分析 我们在标准的LLM基准测试和更复杂的智能体任务（如创意写作和软件开发）上进行了一系列实验。结果表明，所提出的智能体符号学习框架在优化和设计提示和工具，以及通过学习训练数据来更新整体智能体管道方面是有效的。 结论：迈向数据中心化智能体研究的一步 本文介绍了智能体符号学习，这是一个用于智能体学习的框架，可以联合优化智能体系统中的所有符号组件。智能体符号学习框架从标准的连接主义学习过程中汲取灵感，进行符号学习。它使用基于语言的损失、梯度和优化器，根据智能体系统的整体性能来优化提示、工具和智能体管道。所提出的框架是首次尝试优化能够使用复杂管道解决复杂现实问题的智能体。我们的框架使语言智能体能够“从数据中学习”，并在创建和部署到实际环境中后进行“自我进化”。我们进行了一些概念验证实验，结果表明，智能体符号学习框架可以有效地优化不同任务复杂度的智能体。我们相信，这种从以模型为中心到以数据为中心的智能体研究的转变是朝着通用人工智能迈出的有意义的一步，并将开源智能体符号学习框架的代码和提示，以加速这一转变。 参考文献 [...]