分类： AGI

近年来，基于大型语言模型（LLMs）的智能体社会在自动问题解决方面取得了显著进展。现有的LLM驱动的多智能体系统已经能够解决简单的对话任务，但对于更复杂的任务，由于LLMs链式联接导致的级联幻觉，逻辑不一致问题会变得更加复杂。

本文介绍了MetaGPT，这是一种创新的元编程框架，它将高效的人类工作流程融入LLM驱动的多智能体协作中。MetaGPT将标准操作程序（SOPs）编码成提示序列，以实现更简化的工作流程，从而使具有类似人类领域专业知识的智能体能够验证中间结果并减少错误。MetaGPT利用流水线模式为不同的智能体分配不同的角色，将复杂的任务有效地分解成多个智能体协同完成的子任务。在协作软件工程基准测试中，MetaGPT生成的解决方案比之前的基于聊天的多智能体系统更加连贯。

LLM驱动的多智能体系统的局限性

现有的LLM驱动的多智能体系统（Park et al., 2023; Zhuge et al., 2023; Cai et al., 2023; Wang et al., 2023c; Li et al., 2023; Du et al., 2023; Liang et al., 2023; Hao et al., 2023）往往过于简化了现实世界的复杂性，难以实现有效、连贯和准确的问题解决过程，特别是在需要有意义的协作交互时（Zhang et al., 2023; Dong et al., 2023; Zhou et al., 2023; Qian et al., 2023）。

MetaGPT：借鉴人类工作流程，提升多智能体协作效率

人类在各种领域（Belbin, 2012; Manifesto, 2001; DeMarco & Lister, 2013）通过广泛的协作实践，发展出了广泛接受的标准操作程序（SOPs）。这些SOPs在支持任务分解和有效协调方面发挥着至关重要的作用。此外，SOPs还概述了每个团队成员的职责，并为中间输出建立了标准。定义明确的SOPs可以提高与定义的角色和质量标准相一致的任务的一致性和准确执行（Belbin, 2012; Manifesto, 2001; DeMarco & Lister, 2013; Wooldridge & Jennings, 1998）。例如，在软件公司中，产品经理使用标准化结构分析竞争和用户需求，以创建产品需求文档（PRDs），指导开发过程。

MetaGPT借鉴了这种思路，设计了一个基于GPT的元编程框架，该框架从SOPs中受益匪浅。与其他工作（Li et al., 2023; Qian et al., 2023）不同，MetaGPT要求智能体生成结构化的输出，例如高质量的需求文档、设计工件、流程图和界面规范。使用中间结构化输出显著提高了目标代码生成的成功率。更形象地说，在MetaGPT模拟的公司中，所有员工都遵循严格而简化的工作流程，所有交接都必须符合既定的标准。这降低了LLMs之间闲聊导致的幻觉风险，特别是在角色扮演框架中，例如：“你好，你好，你吃午饭了吗？”——爱丽丝（产品经理）；“很好！你吃午饭了吗？”——鲍勃（架构师）。

MetaGPT的核心设计：角色专业化、工作流程和结构化通信

MetaGPT通过以下几个关键设计，将人类工作流程融入LLM驱动的多智能体协作中：

角色专业化：将复杂任务分解成子任务

明确的角色专业化使复杂工作能够分解成更小、更具体的任务。解决复杂的任务或问题通常需要具有不同技能和专业知识的智能体协作，每个智能体都贡献针对特定问题的专门输出。

在软件公司中，产品经理通常进行面向业务的分析并得出见解，而软件工程师则负责编程。MetaGPT在软件公司中定义了五个角色：产品经理、架构师、项目经理、工程师和QA工程师，如图1所示。在MetaGPT中，我们指定了智能体的配置文件，其中包括每个角色的名称、配置文件、目标和约束。我们还为每个角色初始化了特定的上下文和技能。例如，产品经理可以使用网络搜索工具，而工程师可以执行代码，如图2所示。所有智能体都遵循Yao et al. (2022)中描述的React风格行为。

每个智能体都监控环境（即MetaGPT中的消息池），以发现重要的观察结果（例如，来自其他智能体的信息）。这些信息可以直接触发操作，也可以帮助完成工作。

工作流程：明确的任务分配和执行顺序

通过定义智能体的角色和操作技能，我们可以建立基本的工作流程。在MetaGPT中，我们遵循软件开发中的SOP，使所有智能体能够以顺序方式工作。

如图1所示，在获得用户需求后，产品经理进行彻底的分析，制定详细的PRD，包括用户故事和需求池。这作为初步的功能分解。结构化的PRD随后传递给架构师，架构师将需求转换为系统设计组件，例如文件列表、数据结构和界面定义。一旦被捕获到系统设计中，这些信息就会被传递给项目经理，用于任务分配。工程师继续执行指定的类和函数，如所概述的（在图2中详细说明）。在接下来的阶段，QA工程师制定测试用例以执行严格的代码质量。在最后一步，MetaGPT生成精心制作的软件解决方案。我们在图3中提供了一个详细的示意图，并在附录B中提供了一个MetaGPT中SOP工作流程的具体实例。

结构化通信：提高信息传递效率

大多数当前的LLM驱动的多智能体框架（Li et al., 2023; Zhuge et al., 2023; Zhang et al., 2023; Park et al., 2023）使用无约束的自然语言作为通信接口。

然而，尽管自然语言用途广泛，但一个问题出现了：纯粹的自然语言通信是否足以解决复杂的任务？例如，在传话游戏（或传声筒）中，经过几轮通信后，原始信息可能会被严重扭曲。受人类社会结构的启发，我们建议使用结构化通信来制定智能体的通信。我们为每个角色建立了一个模式和格式，并要求个人根据其特定角色和上下文提供必要的输出。

如图3所示，架构师智能体生成两个输出：系统界面设计和序列流程图。这些包含系统模块设计和交互序列，作为工程师的重要交付成果。与ChatDev（Zhao et al., 2023）不同，MetaGPT中的智能体通过文档和图表（结构化输出）而不是对话进行通信。这些文档包含所有必要的信息，防止出现无关或缺失的内容。

发布-订阅机制：高效的信息共享

在协作中，共享信息至关重要。例如，架构师和工程师经常需要参考PRDs。然而，在Li et al. (2023); Zhao et al. (2023); Zhang et al. (2023)等先前工作中，每次都以一对一的方式传递这些信息，可能会使通信拓扑变得复杂，导致效率低下。

为了解决这一挑战，一种可行的方法是将信息存储在全局消息池中。如图2（左）所示，我们引入了一个共享消息池，允许所有智能体直接交换信息。这些智能体不仅在池中发布其结构化信息，还可以透明地访问来自其他实体的信息。任何智能体都可以直接从共享池中检索所需信息，无需询问其他智能体并等待其响应。这提高了通信效率。

与每个智能体共享所有信息会导致信息过载。在任务执行过程中，智能体通常希望只接收与任务相关的信息，并避免通过无关细节造成干扰。有效管理和传播这些信息至关重要。我们提供了一个简单而有效的解决方案——订阅机制（如图2（左）所示）。智能体利用特定角色的兴趣来提取相关信息，而不是依赖对话。他们可以根据自己的角色配置文件选择要关注的信息。在实际实现中，智能体只有在收到所有先决条件后才会激活其操作。如图3所示，架构师主要关注产品经理提供的PRDs，而来自QA工程师等角色的文档可能不太重要。

MetaGPT的创新：可执行反馈机制

在日常编程任务中，调试和优化过程发挥着重要作用。然而，现有的方法通常缺乏自纠正机制，导致代码生成失败。先前的工作引入了不可执行的代码审查和自我反省（Zhao et al., 2023; Yao et al., 2022; Shinn et al., 2023; Dong et al., 2023）。然而，它们在确保代码可执行性和运行时正确性方面仍然面临挑战。

MetaGPT的最初实现忽略了审查过程中的某些错误，这是由于LLMs的幻觉（Manakul et al., 2023）。为了克服这个问题，在初始代码生成后，我们引入了一个可执行反馈机制，以迭代地改进代码。更具体地说，如图2所示，工程师被要求根据原始产品需求和设计编写代码。

这使工程师能够使用自己的历史执行和调试内存来不断改进代码。为了获得更多信息，工程师编写并执行相应的单元测试用例，然后接收测试结果。如果令人满意，则启动额外的开发任务。否则，工程师在恢复编程之前调试代码。这个迭代测试过程会持续进行，直到测试通过或达到最大3次重试。

MetaGPT的实验验证：超越现有方法的性能

本文通过一系列实验验证了MetaGPT的有效性，包括在HumanEval（Chen et al., 2021a）和MBPP（Austin et al., 2021）等基准测试上的性能评估，以及在自建的SoftwareDev数据集上的性能评估。

基准测试结果：超越现有方法的性能

在HumanEval和MBPP基准测试中，MetaGPT的性能超越了所有先前的方法，并在HumanEval基准测试中与GPT-4协作，显著提高了Pass@k。在SoftwareDev数据集上，MetaGPT在几乎所有指标上都优于ChatDev，例如，在可执行性方面，MetaGPT的得分接近4（完美无缺）。此外，MetaGPT的运行时间更短（503秒），明显少于ChatDev。在代码统计和人工修改成本方面，MetaGPT也显著优于ChatDev。尽管MetaGPT需要更多标记（24,613或31,255，而ChatDev为19,292），但它只需要126.5/124.3个标记来生成一行代码，而ChatDev使用248.9个标记。这些结果突出了SOPs在多个智能体之间协作中的优势。此外，我们通过可视化样本（图5）展示了MetaGPT的自主软件生成能力。有关其他实验和分析，请参见附录C。

消融研究：验证MetaGPT设计的有效性

为了了解不同角色对最终结果的影响，我们执行了两个涉及生成有效代码和计算平均统计数据的任务。当我们排除某些角色时，会生成不可用的代码。如表3所示，除了工程师之外，添加其他角色始终能提高修改和可执行性。虽然更多角色会略微增加成本，但整体性能明显提高，证明了各种角色的有效性。

可执行反馈机制的有效性：如图4所示，在MetaGPT中添加可执行反馈，导致HumanEval和MBPP的Pass@1分别显著提高了4.2%和5.4%。此外，表1显示，反馈机制提高了可行性（3.67至3.75）并降低了人工修改成本（2.25至0.83）。这些结果说明了我们设计的反馈机制如何能够生成更高质量的代码。MetaGPT和没有可执行反馈的MetaGPT的额外定量结果如表4和表6所示。

MetaGPT的未来展望：更智能、更自主的多智能体系统

本文提出的MetaGPT为构建更智能、更自主的多智能体系统开辟了新的可能性，例如：

• 自改进机制: MetaGPT可以从每个软件项目的经验中学习，不断改进自身的能力，例如，通过分析每个项目的反馈信息，不断优化每个智能体的约束提示，使它们能够从过去的项目经验中不断学习，并通过改进每个公司成员来增强整个多智能体系统。
• 多智能体经济: MetaGPT可以构建一个类似于真实世界软件公司的多智能体经济，每个智能体提供不同的服务，并根据其贡献获得相应的奖励，从而实现更加灵活和自组织的协作。

MetaGPT的出现，标志着LLM驱动的多智能体系统发展的新阶段，它将人类工作流程融入多智能体协作框架，为解决现实世界中的复杂问题提供了新的思路和方法。

参考文献

• Park, Joon Sung, Joseph C O’Brien, Carrie J Cai, Meredith Ringel Morris, Percy Liang, and Michael S Bernstein. “Generative Agents: Interactive Simulacra of Human Behavior.” arXiv preprint arXiv:2304.03442, 2023.
• Zhuge, Mingchen, Haozhe Liu, Francesco Faccio, Dylan R Ashley, R´obert Csord´as, Anand Gopalakrishnan, Abdullah Hamdi, Hasan Abed Al Kader Hammoud, Vincent Herrmann, Kazuki Irie, et al. “Mindstorms in Natural Language-Based Societies of Mind.” arXiv preprint arXiv:2305.17066, 2023.
• Cai, Tianle, Xuezhi Wang, Tengyu Ma, Xinyun Chen, and Denny Zhou. “Large Language Models as Tool Makers.” arXiv preprint arXiv:2303.17823, 2023.
• Wang, Guanzhi, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, and Anima Anandkumar. “Voyager: An Open-Ended Embodied Agent with Large Language Models.” arXiv preprint arXiv:2303.02079, 2023a.
• Wang, Zhenhailong, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, and Heng Ji. “Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent Through Multi-Persona Self-Collaboration.” arXiv preprint arXiv:2303.03740, 2023c.
• Li, Guohao, Hasan Abed Al Kader Hammoud, Hani Itani, Dmitrii Khizbullin, and Bernard Ghanem. “Camel: Communicative Agents for” Mind” Exploration of Large Scale Language Model Society.” arXiv preprint arXiv:2303.01885, 2023.
• Du, Yilun, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum, and Igor Mordatch. “Improving Factuality and Reasoning in Language Models Through Multiagent Debate.” arXiv preprint arXiv:2210.11211, 2023.
• Liang, Tian, Zhiwei He, Wenxiang Jiao, Xing Wang, Yan Wang, Rui Wang, Yujiu Yang, Zhaopeng Tu, and Shuming Shi. “Encouraging Divergent Thinking in Large Language Models Through Multi-Agent Debate.” arXiv preprint arXiv:2303.02292, 2023.
• Hao, Rui, Linmei Hu, Weijian Qi, Qingliu Wu, Yirui Zhang, and Liqiang Nie. “ChatLLM Network: More Brains, More Intelligence.” arXiv preprint arXiv:2302.08580, 2023.
• Zhang, Hongxin, Weihua Du, Jiaming Shan, Qinhong Zhou, Yilun Du, Joshua B Tenenbaum, Tianmin Shu, and Chuang Gan. “Building Cooperative Embodied Agents Modularly with Large Language Models.” arXiv preprint arXiv:2302.03648, 2023.
• Dong, Yihong, Xue Jiang, Zhi Jin, and Ge Li. “Self-Collaboration Code Generation via ChatGPT.” arXiv preprint arXiv:2302.01600, 2023.
• Zhou, Shuyan, Frank F Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Yonatan Bisk, Daniel Fried, Uri Alon, et al. “WebArena: A Realistic Web Environment for Building Autonomous Agents.” arXiv preprint arXiv:2301.07752, 2023.
• Qian, Chen, Xin Cong, Cheng Yang, Weize Chen, Yusheng Su, Juyuan Xu, Zhiyuan Liu, and Maosong Sun. “Communicative Agents for Software Development.” arXiv preprint arXiv:2211.11231, 2023.
• Belbin, R.M. Team Roles at Work. Routledge, 2012.
• Manifesto, Agile. “Manifesto for Agile Software Development.” Snowbird, UT, 2001.
• DeMarco, T. and Lister, T.R. Peopleware: Productive Projects and Teams. Addison-Wesley, 2013.
• Wooldridge, Michael, and Nicholas R. Jennings. “Pitfalls of Agent-Oriented Development.” In Proceedings of the Second International Conference on Autonomous Agents, 1998.
• Yao, Shunyu, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. “REACT: Synergizing Reasoning and Acting in Language Models.” arXiv preprint arXiv:2110.02400, 2022.

---

近年来，Stable Diffusion、Imagen等文生图（T2I）模型在生成高分辨率图像方面取得了显著进步，但生成的图像仍存在不少问题，如图像失真、与文本描述不符、美观度不足等。为了解决这些问题，谷歌和多所高校的研究人员共同创建了包含“丰富反馈”的RichHF-18K数据集，并提出了一种名为RAHF的多模态Transformer模型，旨在更全面、精准地评估和提升AI图像生成质量。

RichHF-18K：不止于评分的“丰富反馈”

现有的图像生成评估方法大多依赖单一评分或排序，缺乏细粒度的反馈信息。而RichHF-18K数据集则包含了更为丰富的反馈维度，具体包括：

• 细粒度评分： 从图像逼真度、文本图像一致性、美观度和整体质量四个方面对图像进行评分。
• 失真/不一致区域标注： 通过点标注的方式，标记出图像中存在失真/不合理或与文本描述不符的区域。
• 不一致关键词标注： 标记出文本描述中哪些关键词在生成图像中未被体现或被错误地呈现。

RAHF模型：学习“丰富反馈”，预测图像质量

RAHF模型的架构基于ViT和T5X模型，并结合了自注意力机制，能够有效融合图像和文本信息。该模型可以预测图像的失真/不一致区域、不一致关键词以及四个细粒度评分，从而更全面地评估图像生成质量。

RAHF模型的应用：提升AI图像生成质量

RAHF模型预测的“丰富反馈”信息可以用于提升AI图像生成质量，例如：

• 区域修复: 利用预测的失真/不一致区域热力图创建掩码，对问题区域进行修复，生成更逼真的图像。
• 模型微调: 利用预测的评分筛选高质量训练数据，或将评分作为奖励信号，对图像生成模型进行微调，提升模型的生成效果。

总结与展望：迈向更智能的AI图像生成

RichHF-18K数据集和RAHF模型的提出，为AI图像生成领域带来了全新的思路和方法。通过引入“丰富反馈”机制，可以更有效地评估和提升AI图像生成质量，推动AI图像生成技术走向更高的智能化水平。

当然，这项研究也存在一些局限性，例如：

• 对不一致区域的标注存在一定的主观性，影响模型预测的准确性。
• 数据集的规模还有待进一步扩大，以提高模型的泛化能力。

未来，研究人员将继续探索如何利用“丰富反馈”机制，开发更先进的AI图像生成技术，为用户带来更优质的图像生成体验。

参考文献：

• Liang, Youwei, et al. “Rich Human Feedback for Text-to-Image Generation.” arXiv preprint arXiv:2312.10240 (2023).

---

CVPR最佳论文解读：RAHF模型如何利用“丰富人类反馈”提升AI图像生成？

这篇来自加州大学圣地亚哥分校、谷歌研究院等机构的CVPR最佳论文《Rich Human Feedback for Text-to-Image Generation》聚焦于如何利用更丰富的用户反馈来提升AI图像生成技术的质量。

直击痛点：现有评估方法存在不足

论文指出，现有的AI图像生成评估方法大多依赖单一评分或排序，缺乏细粒度的反馈信息，难以有效指导模型改进。例如，仅仅告诉模型一张图片“好”或“不好”，并不能让模型真正理解问题所在，更无法针对性地进行优化。

RAHF模型：捕捉“丰富人类反馈”

为了解决这一问题，研究团队提出了一种名为RAHF（Rich Automatic Human Feedback）的多模态Transformer模型。该模型能够捕捉更丰富的人类反馈信息，包括：

• 细粒度评分： 不再局限于单一评分，而是从图像逼真度、文本图像一致性、美观度和整体质量四个方面对图像进行评分。
• 失真/不一致区域标注： 用户可以通过点标注的方式，直观地告诉模型图像中哪些区域存在失真/不合理或与文本描述不符的问题。
• 不一致关键词标注： 用户可以标记出文本描述中哪些关键词在生成图像中未被体现或被错误地呈现。

实验结果：RAHF模型提升图像生成质量

实验结果表明，RAHF模型能够有效预测用户的“丰富反馈”，并将其用于提升AI图像生成质量。例如：

• 区域修复： 利用预测的失真/不一致区域热力图，可以对问题区域进行针对性的修复，生成更逼真的图像。
• 模型微调： 利用预测的评分可以筛选高质量训练数据，或将评分作为奖励信号，对图像生成模型进行微调，提升模型的生成效果。

总结：迈向更智能的AI图像生成

RAHF模型的提出，为AI图像生成领域带来了全新的思路和方法。通过捕捉更丰富的用户反馈信息，可以更有效地评估和提升AI图像生成质量，推动AI图像生成技术走向更高的智能化水平。

未来展望

研究团队计划公开RichHF-18K数据集，以促进学术界和工业界对“丰富人类反馈”在AI图像生成领域应用的进一步研究。相信在未来，RAHF模型将会在更广泛的领域发挥重要作用，为用户带来更优质的图像生成体验。

最近，机器学习界出现了一项令人震惊的研究成果：仅仅对GPT-3说一句“让我们一步一步地思考”，就能让它解开之前无法解答的难题，准确率瞬间提高61%！这感觉就像幼儿园阿姨哄小朋友一样神奇，难道哄AI也要像哄小孩？

“一步一步思考”：神奇咒语背后的秘密

这项由谷歌大脑和东京大学合作的研究发现，简单的提示词可以显著提高GPT-3在零样本学习场景下的推理能力。研究人员将这种方法称为“思维链路提示”（CoT），其核心是通过引导语言模型逐步思考，最终得出正确答案。例如，面对“16个球中有一半是高尔夫球，这些高尔夫球中有一半是蓝色的，一共有几个蓝色的高尔夫球？”这个问题，直接询问GPT-3会得到错误答案“8”。但如果在提问时加上“让我们一步一步地思考”，GPT-3就会先列出解题步骤，最终给出正确答案“4”。

CoT并非万能药：效果受模型版本、问题类型影响

研究人员对CoT的效果进行了广泛的测试，结果表明，CoT在大多数情况下都能显著提高GPT-3的准确率，尤其是在数学和常识推理方面。然而，CoT并非万能药，其效果会受到GPT-3版本、问题类型等因素的影响。例如，CoT对GPT-3最新版本Text-davinci-002的效果最佳，对旧版本的提升效果则相对有限。

从“特征工程”到“提示工程”：AI研究的新方向？

CoT的成功引发了人们对“提示工程”的关注。一些学者认为，“提示工程”正在取代传统的“特征工程”，成为AI研究的新方向。通过设计巧妙的提示词，可以引导AI更好地理解人类意图，从而提高其性能。未来，”提示词猎人”会不会成为NLP研究者的新头衔？

结语：哄AI，更需理解AI

尽管“哄AI像哄小孩”的说法很有趣，但我们不能忽视对AI本身的理解。CoT的成功表明，通过引导AI模拟人类的思维方式，可以有效提高其推理能力。未来，如何设计更有效的提示词，如何将CoT应用于更广泛的领域，将是AI研究的重要课题。

参考文献：

• Wei, Jason, et al. “Chain of thought prompting elicits reasoning in large language models.” arXiv preprint arXiv:2205.11916 (2022).

近年来，大型语言模型（LLM）取得了令人瞩目的进展，展现出强大的语言理解和生成能力，被誉为通用人工智能（AGI）的潜在火花。与此同时，AI Agent 的概念也逐渐兴起，成为实现 AGI 的关键步骤。AI Agent 是指能够感知环境、做出决策并采取行动的人工实体。将 LLM 与 Agent 结合，赋予 LLM 更广阔的感知空间和行动空间，将有望构建出更加智能、更加通用的 AI Agent。

AI Agent 的起源与发展

从哲学到 AI

“Agent” 的概念起源于哲学，可以追溯到亚里士多德和休谟等思想家。它描述了拥有欲望、信念、意图和采取行动能力的实体。这个概念后来被引入计算机科学领域，用于描述能够感知环境、做出决策并采取行动的计算实体。

AI Agent 研究的技术趋势

AI Agent 的研究经历了多个阶段，从早期的符号 Agent，到反应型 Agent，再到基于强化学习的 Agent，以及具有迁移学习和元学习能力的 Agent。近年来，随着 LLM 的兴起，基于 LLM 的 Agent 逐渐成为研究热点。

LLM 成为 Agent 大脑的优势

LLM 非常适合作为 AI Agent 的大脑或控制器的主要组成部分，因为它具备以下关键属性：

• 自主性：LLM 可以根据环境输入动态调整输出，展现出一定的自适应自主性。
• 反应性：研究人员已经证明了使用多模态融合技术扩展 LLM 感知空间的潜力，使其能够快速处理来自环境的视觉和听觉信息。
• 主动性：LLM 具有很强的广义推理和规划能力，可以主动采取行动以实现特定目标或适应环境变化。
• 社交能力：LLM 强大的自然语言交互能力使其能够以可解释的方式与其他模型或人类进行交互，从而具备社交能力。

基于 LLM 的 Agent 构建

大脑：智能体的核心

大脑是 AI Agent 的核心，主要由 LLM 组成，负责存储知识和记忆，并承担信息处理和决策等不可或缺的功能。它需要具备以下能力：

• 自然语言交互：理解和生成自然语言，进行多轮对话，并理解隐含的含义。
• 知识：获取、存储和利用语言知识、常识知识和专业领域知识。
• 记忆：存储 Agent 过去的观察、想法和行动的序列，并能够有效地检索和利用这些记忆。
• 推理与规划：进行逻辑推理和规划，将复杂任务分解成更易于管理的子任务。
• 可迁移性和通用性：适应不熟悉的场景，并能够泛化到未见过的任务。

感知：拓展感知空间

感知模块的作用类似于人类的感觉器官，负责将 Agent 的感知空间从仅限文本扩展到多模态空间，包括文本、声音、视觉、触觉、嗅觉等多种感官模态。

行动：与环境交互

行动模块负责扩展 Agent 的动作空间，使其能够拥有文本输出，采取具身行动，并使用工具，以便更好地响应环境变化并提供反馈，甚至改变和塑造环境。

基于 LLM 的 Agent 应用

单 Agent 的一般能力

• 面向任务的部署：协助用户解决日常任务，例如在基于文本的游戏场景中执行任务，在 Web 场景中进行 Web 导航，以及在生活场景中完成家务任务。
• 创新型部署：在科学领域进行自主探索，例如在计算机科学、化学和材料科学等领域进行研究。
• 面向生命周期的部署：在开放世界环境中持续探索、学习和利用新技能，例如在 Minecraft 等模拟生存环境中进行生存任务。

多 Agent 的协调潜力

• 合作交互：多个 Agent 通过合作来实现共同的目标，例如在软件开发任务中进行协作。
• 对抗性交互：多个 Agent 通过竞争来提高各自的表现，例如在辩论任务中进行对抗。

人类与 Agent 之间的交互参与

• 指令者-执行者范式：人类提供指令或反馈，而 Agent 充当执行者，例如在教育、医疗保健等领域担任人类助手。
• 平等伙伴关系范式：Agent 与人类平等参与互动，例如在游戏领域与人类进行合作或谈判。

Agent 社会：从个性到社会性

Agent 行为与人格

• 社会行为：Agent 可以表现出各种社会行为，例如合作、竞争、模仿、旁观等。
• 人格：Agent 可以发展出认知能力、情商和性格特征，从而塑造其行为反应。

Agent 的社会环境

• 基于文本的环境：Agent 在由自然语言描述的环境中进行操作。
• 虚拟沙箱环境：Agent 在可视化和可扩展的模拟环境中进行操作。
• 物理环境：Agent 在真实的物理环境中进行操作。

社会模拟与 LLM 为基础的 Agent

通过构建模拟社会，研究人员可以观察 Agent 社会中涌现的社会现象，例如合作、传播、伦理决策等，并从中获得对人类社会的洞察。

讨论

LLM 研究和 Agent 研究之间的互惠互利

LLM 研究和 Agent 研究可以相互促进，LLM 为 Agent 研究提供了强大的基础模型，而 Agent 研究则为 LLM 研究提出了新的挑战和机遇。

基于 LLM 的 Agent 评估

评估基于 LLM 的 Agent 的效用、社交性、价值观和持续发展的能力，对于确保其安全、可信和有效至关重要。

基于 LLM 的 Agent 的安全性、可信度及其他潜在风险

需要解决基于 LLM 的 Agent 的对抗性鲁棒性、可信度、滥用、失业率和对人类福祉的威胁等潜在风险。

扩大 Agent 的数量

扩大 Agent 的数量可以提高任务效率，增强社会模拟的真实性和可信性，但也面临着计算负担、通信挑战和协调难度等挑战。

开放问题

• 基于 LLM 的 Agent 是否代表了通往 AGI 的潜在途径？
• 如何将 Agent 从虚拟仿真环境迁移到物理环境？
• 如何在 AI Agent 中实现集体智慧？
• 如何将 Agent 作为服务提供？

结论

基于 LLM 的 Agent 是一个充满希望的研究方向，它将 LLM 的强大能力与 Agent 的行动能力相结合，有望构建出更加智能、更加通用的 AI 系统。然而，这个领域也面临着许多挑战和风险，需要研究人员和从业者共同努力，以确保其安全、可信和有效地发展。

参考文献

[1] Russell, S. J. Artificial intelligence a modern approach. Pearson Education, Inc., 2010.

[2] Diderot, D. Diderot’s early philosophical works. 4. Open Court, 1911.

[3] Turing, A. M. Computing machinery and intelligence. Springer, 2009.

[4] Wooldridge, M. J., N. R. Jennings. Intelligent agents: theory and practice. Knowl. Eng. Rev.,10(2):115–152, 1995.

…

[675] Sun, T., Y. Shao, H. Qian, et al. Black-box tuning for language-model-as-a-service. In K. Chaudhuri, S. Jegelka, L. Song, C. Szepesvári, G. Niu, S. Sabato, eds., International Conference on Machine Learning, ICML 2022, 17-23 July 2022, Baltimore, Maryland, USA, vol. 162 of Proceedings of Machine Learning Research, pages 20841–20855. PMLR, 2022.

---

新闻推荐系统近年来发展迅速，其中一个重要的技术突破是深度知识感知网络 (DKN) 的出现。DKN 能够利用知识图谱 (KG) 中的实体信息来增强新闻推荐的准确性。为了训练 DKN 模型，我们需要预先训练词向量和实体向量，本文将介绍如何使用 Word2Vec 和 TransE 模型来完成这一任务。

用 Word2Vec 训练词向量

Word2Vec 是一种常用的词向量训练模型，它能够将词语映射到一个高维向量空间中，并学习到词语之间的语义关系。在 DKN 中，我们需要将新闻标题和文本中的词语转换为向量表示，以便模型能够理解文本内容。

我们可以使用 Gensim 库中的 Word2Vec 模型来训练词向量。Gensim 提供了简单易用的接口，可以方便地加载文本数据并训练模型。

from gensim.test.utils import common_texts, get_tmpfile
from gensim.models import Word2Vec
import time
from utils.general import *
import numpy as np
import pickle
from utils.task_helper import *

首先，我们定义一个类 MySentenceCollection 来读取新闻文本数据。该类实现了迭代器接口，可以逐行读取文本文件并将其转换为词语列表。

class MySentenceCollection:
    def __init__(self, filename):
        self.filename = filename
        self.rd = None

    def __iter__(self):
        self.rd = open(self.filename, 'r', encoding='utf-8', newline='\\r\\n')
        return self

    def __next__(self):
        line = self.rd.readline()
        if line:
            return list(line.strip('\\r\\n').split(' '))
        else:
            self.rd.close()
            raise StopIteration

接下来，我们定义一个函数 train_word2vec 来训练 Word2Vec 模型。该函数接受新闻文本文件路径和输出目录作为参数，并保存训练好的模型文件。

def train_word2vec(Path_sentences, OutFile_dir):
    OutFile_word2vec = os.path.join(OutFile_dir, r'word2vec.model')
    OutFile_word2vec_txt = os.path.join(OutFile_dir, r'word2vec.txt')
    create_dir(OutFile_dir)

    print('start to train word embedding...', end=' ')
    my_sentences = MySentenceCollection(Path_sentences)
    model = Word2Vec(my_sentences, size=32, window=5, min_count=1, workers=8, iter=10) # user more epochs for better accuracy

    model.save(OutFile_word2vec)
    model.wv.save_word2vec_format(OutFile_word2vec_txt, binary=False)
    print('\\tdone . ')

Path_sentences = os.path.join(InFile_dir, 'sentence.txt')

t0 = time.time()
train_word2vec(Path_sentences, OutFile_dir)
t1 = time.time()
print('time elapses: {0:.1f}s'.format(t1 - t0))

用 TransE 训练实体向量

知识图谱 (KG) 由实体和关系组成，可以用来表示世界上的各种知识。在 DKN 中，我们可以利用 KG 中的实体信息来增强新闻推荐的准确性。为了将 KG 中的实体信息融入到 DKN 模型中，我们需要将实体映射到向量空间中，即训练实体向量。

TransE 是一种常用的知识图谱嵌入模型，它能够将实体和关系映射到同一个向量空间中，并学习到实体和关系之间的语义关系。我们可以使用开源的 Fast-TransX 库来训练 TransE 模型。

!bash ./run_transE.sh

构建上下文向量

DKN 模型不仅需要考虑实体本身的向量表示，还需要考虑实体的上下文信息。例如，同一个实体在不同的新闻中可能具有不同的含义。为了捕捉这种上下文信息，我们需要构建上下文向量。

我们可以利用 KG 中的实体关系来构建上下文向量。例如，对于一个实体，我们可以将所有与它相关的实体的向量加权平均，得到该实体的上下文向量。

##### build context embedding
EMBEDDING_LENGTH = 32
entity_file = os.path.join(OutFile_dir_KG, 'entity2vec.vec')
context_file = os.path.join(OutFile_dir_KG, 'context2vec.vec')
kg_file = os.path.join(OutFile_dir_KG, 'train2id.txt')
gen_context_embedding(entity_file, context_file, kg_file, dim=EMBEDDING_LENGTH)

加载预训练向量

最后，我们需要将训练好的词向量和实体向量加载到 DKN 模型中。

load_np_from_txt(
        os.path.join(OutFile_dir_KG, 'entity2vec.vec'),
        os.path.join(OutFile_dir_DKN, 'entity_embedding.npy'),
    )
load_np_from_txt(
        os.path.join(OutFile_dir_KG, 'context2vec.vec'),
        os.path.join(OutFile_dir_DKN, 'context_embedding.npy'),
    )
format_word_embeddings(
    os.path.join(OutFile_dir, 'word2vec.txt'),
    os.path.join(InFile_dir, 'word2idx.pkl'),
    os.path.join(OutFile_dir_DKN, 'word_embedding.npy')
)

参考文献

1. Wang, Hongwei, et al. “DKN: Deep Knowledge-Aware Network for News Recommendation.” Proceedings of the 2018 World Wide Web Conference on World Wide Web. International World Wide Web Conferences Steering Committee, 2018.
2. Knowledge Graph Embeddings including TransE, TransH, TransR and PTransE. https://github.com/thunlp/KB2E
3. GloVe: Global Vectors for Word Representation. https://nlp.stanford.edu/projects/glove/
4. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. In Proceedings of the 26th International Conference on Neural Information Processing Systems – Volume 2 (NIPS’13). Curran Associates Inc., Red Hook, NY, USA, 3111–3119.
5. Gensim Word2vec embeddings : https://radimrehurek.com/gensim/models/word2vec.html