AGI

引言 大语言模型(LLM)的训练一直是AI领域的热点话题。随着开源模型的不断涌现,如何对这些基础模型进行进一步优化和定制化训练成为了很多研究者和开发者关注的焦点。本文将介绍如何使用Firefly框架在单张V100 GPU上对Qwen1.5-7B模型进行SFT(Supervised Fine-tuning)和DPO(Direct Preference Optimization)训练,并探讨训练过程中的关键技术点和实验结果。 Firefly简介 Firefly是一个开源的大模型一站式训练框架,支持对各种主流大模型进行预训练、指令微调和DPO等训练。它支持全量参数、LoRA、QLoRA等多种训练方式,可以适应不同的硬件条件和训练需求。Firefly框架兼容包括Gemma、Qwen1.5、MiniCPM、Mixtral-8x7B、Mistral、Llama等在内的绝大多数主流大模型。 Qwen1.5模型介绍 Qwen1.5是阿里巴巴在2024年春节前开源的大语言模型,支持32K的上下文长度。该模型可以看作是Qwen2的beta版本,未来还会有Qwen2的正式版本发布。从各项评测结果来看,Qwen1.5各个尺寸的模型都显著优于同量级的Llama2。在2024年2月的SuperCLUE大模型榜单中,Qwen1.5也展现出了非常优秀的表现,在开源模型中处于领先地位。 大模型训练的三个阶段 大模型的训练通常可以分为以下三个主要阶段: DPO简介 在RLHF阶段,传统的方法如PPO(Proximal Policy Optimization)存在流程繁琐、显存需求大等问题。相比之下,DPO(Direct Preference Optimization)方法绕过了奖励模型的构建,可以直接使用人类偏好数据对模型进行训练,且在训练时仅需加载策略网络和参考网络,极大地节省了显存占用。 DPO的训练数据包含三个字段:prompt、chosen和rejected。其损失函数计算过程具有对称性,公式如下: 其中,r_θ表示策略网络,r_θ_ref表示参考网络,β是温度系数,σ是sigmoid函数。 在代码实现中,DPO损失函数的计算过程大致如下: 实验设置 本实验在Qwen1.5-7B的基础上,使用Firefly框架进行了SFT和DPO两阶段的训练。整个训练流程仅使用一张V100 GPU,采用QLoRA技术,在所有Linear层都添加adapter以提升训练效果。两个阶段均使用英文数据进行训练。 对话模板 Firefly与Qwen1.5官方的对话模板保持一致: SFT阶段设置 使用Firefly对Qwen1.5进行SFT的启动命令: SFT阶段的主要参数设置如下: DPO阶段设置 使用Firefly对Qwen1.5进行DPO的启动命令: DPO阶段采用ultrafeedback数据集,主要参数设置如下: 实验结果与分析 模型评测 在Open LLM Leaderboard上对模型进行评测,Firefly训练的模型表现显著优于官方的Qwen1.5-7B-Chat、Gemma-7B-it等模型。具体来说: 经过DPO之后,模型的平均分还有接近1分左右的提升。这说明Firefly框架在单卡V100上通过SFT和DPO训练,成功地提升了Qwen1.5模型的性能。 DPO训练指标分析 在DPO训练过程中,我们关注了几个重要的训练指标: 这些指标的变化趋势都表明,DPO训练确实帮助模型学习到了人类的偏好,提升了模型输出的质量。 结论与展望 通过使用Firefly框架在单卡V100上对Qwen1.5-7B模型进行SFT和DPO训练,我们成功地提升了模型的性能,在Open LLM Leaderboard上取得了优于原始Qwen1.5-7B-Chat和Gemma-7B-it等模型的成绩。这个实验结果表明: 未来的研究方向可以包括: 总的来说,Firefly框架为大模型的定制化训练提供了一个强大而灵活的工具,为AI研究者和开发者开辟了新的可能性。我们期待看到更多基于Firefly的创新应用和研究成果。 参考文献

在当今快速发展的人工智能时代,ChatGPT作为一款强大的语言模型,正在revolutionizing学术写作的方式。本文将为您详细介绍如何充分利用ChatGPT的功能,从选题构思到最终润色,全方位提升您的论文写作效率和质量。无论您是正在寻找灵感的研究生,还是即将完成论文的博士生,这份指南都将成为您的得力助手。 1. 论文选题:开启学术探索之旅 选择一个好的论文题目是整个研究过程的关键起点。ChatGPT可以在这一阶段为您提供宝贵的建议和灵感。 1.1 选题指令示例 通过这样的提示,ChatGPT可以根据您的背景和兴趣,生成一系列潜在的研究选题。您可以进一步与ChatGPT讨论这些选题的可行性和创新性,从而确定最终的研究方向。 2. 文献综述:构建坚实的理论基础 一篇优秀的论文离不开全面而深入的文献综述。ChatGPT可以帮助您更高效地整理和分析已有的研究成果。 2.1 文献综述指令示例 通过这种方式,ChatGPT可以帮助您快速梳理现有研究的主要观点和方法,为您的研究提供坚实的理论支撑。 3. 理论框架:奠定研究的基石 选择合适的理论框架对于研究的深度和严谨性至关重要。ChatGPT可以为您推荐并解释相关的理论,帮助您构建研究框架。 3.1 理论推荐指令示例 通过这种方式,ChatGPT可以为您介绍相关的理论框架,帮助您更好地设计研究方法和解释研究结果。 4. 论文结构:搭建清晰的逻辑框架 一篇结构清晰、逻辑严密的论文更容易让读者理解和认可。ChatGPT可以帮助您设计合理的论文结构。 4.1 论文结构指令示例 通过这种方式,ChatGPT可以为您生成一个详细的论文大纲,帮助您更好地组织思路和内容。 5. 论文润色:提升学术表达水平 在完成初稿后,润色和修改是提升论文质量的关键步骤。ChatGPT可以在语言表达、逻辑连贯性等方面为您提供宝贵的建议。 5.1 论文润色指令示例 通过这种方式,ChatGPT可以帮助您优化论文的语言表达,提升学术水平。 6. 参考文献:丰富研究的理论支撑 合适的参考文献可以增强您的论文的说服力和学术价值。ChatGPT可以帮助您寻找和推荐相关的学术文献。 6.1 参考文献推荐指令示例 通过这种方式,ChatGPT可以为您推荐最新、最相关的学术文献,丰富您的研究背景。 7. 致谢撰写:表达诚挚的感激之情 一份得体的致谢可以为您的论文画上圆满的句号。ChatGPT可以帮助您撰写真挚而专业的致谢词。 7.1 致谢撰写指令示例 通过这种方式,ChatGPT可以帮助您表达对研究过程中给予帮助的人员和机构的感谢之情。 结语 在这个人工智能迅速发展的时代,ChatGPT作为一个强大的语言模型,正在改变我们的学术写作方式。从选题构思到最终润色,ChatGPT都可以成为您的得力助手。然而,我们也应该注意到,ChatGPT仅仅是一个工具,最终的创意和洞察力仍然来自于研究者本身。 合理利用ChatGPT,可以大大提高您的研究效率,让您在7小时内完成高质量的论文写作。但请记住,学术诚信始终是最重要的。ChatGPT应该被视为一个辅助工具,而不是替代您独立思考和创新的手段。 希望这份指南能够帮助您更好地利用ChatGPT,提升您的学术写作水平。祝您在学术道路上取得更大的成功! 参考文献

1. 研究背景与动机 近年来,深度学习在计算机视觉领域取得了显著进展。然而,大多数先进方法都需要在超大规模数据集上进行训练,这对计算资源有限的研究人员来说是一个巨大挑战。因此,如何减少大规模数据集的训练成本变得迫在眉睫。 现有的一些解决方案包括: 针对现有方法的局限性,研究者提出了InfoBatch框架,旨在通过无偏动态数据剪枝实现无损训练加速。 2. InfoBatch方法概述 InfoBatch的核心思想是在保持原始数据集和剪枝后数据集的预期总更新相同的基础上进行数据剪枝。具体来说,InfoBatch包含以下关键步骤: 与之前的方法相比,InfoBatch具有以下优势: 3. 理论分析 InfoBatch的理论基础可以从经验风险最小化的角度来解释。假设所有样本z来自连续分布ρ(z),训练目标可以表示为: arg min E[L(z, θ)] = ∫ L(z, θ)ρ(z)dzθ∈Θ z∈D 应用提出的剪枝策略后,我们根据归一化的(1-Pt(z))ρ(z)对z进行采样。通过对每个样本z的损失进行因子γt(z) = 1/(1-Pt(z))的重缩放,在St上的训练目标变为: arg min 1/ct E[γt(z)L(z, θ)] = arg min 1/ct ∫ L(z, θ)ρ(z)dzθ∈Θ z∈St θ∈Θ 其中ct是一个常数。这表明,在St上使用重缩放因子γt(z)进行训练可以达到与在原始数据集上训练类似的结果。 4. 实验结果 InfoBatch在多个数据集和任务上进行了广泛的实验,包括CIFAR-10/100、ImageNet-1K、ADE20K等分类任务,以及语义分割和视觉预训练任务。主要结果如下: 这些结果表明,InfoBatch作为一个即插即用且与架构无关的框架,能够在各种任务和模型架构上实现无损训练加速,有效缓解了超大规模数据集训练的巨大计算成本问题。 5. 结论与展望 InfoBatch提出了一种新颖的无偏动态数据剪枝框架,通过软剪枝和期望重缩放等技术,实现了在保持训练性能的同时显著减少总体训练成本。这项工作为大规模模型训练的数据效率方面开辟了新的研究方向,有望推动更多关于如何提高深度学习训练效率的探索。 未来的研究方向可能包括: 总的来说,InfoBatch为解决深度学习中的数据效率问题提供了一个有前景的方向,有望在未来推动大规模AI模型的更高效训练和更广泛应用。 参考文献:[1] Qin, Z., Wang, K., Zheng, Z., … Read more

“SILU” 激活函数，也被称为”Swish”或”Sigmoid Linear Unit”，是一种在深度学习中使用的激活函数。SILU函数的数学表达式为： [ \text{SILU}(x) = x \cdot \sigma(x) ] 其中 ( x ) 是输入值，( \sigma(x) ) 是sigmoid函数，即： [ \sigma(x) = \frac{1}{1 + e^{-x}} ] SILU函数结合了线性和非线性特性，其输出范围在0到输入值 ( x ) 之间。SILU在某些情况下被证明对模型性能有益，特别是在处理具有大量参数的深度神经网络时。 SILU函数的一些关键特点包括： 然而，SILU函数并不总是适用于所有类型的网络或问题。选择激活函数通常取决于具体的应用场景和网络架构。在实践中，可能需要尝试不同的激活函数来找到最适合特定任务的那一个。

在数字化时代，我们每天都在创造海量文本数据。如何从这些数据中提取有价值的信息并进行有效总结，成为了一个重要课题。微软研究院最新推出的GraphRAG技术，为我们提供了一个创新的解决方案。今天，我们就来聊聊这项技术是如何工作的，以及它将如何改变我们的信息处理方式。 什么是GraphRAG？ GraphRAG（Graph Retrieval-Augmented Generation）是一种结合了知识图谱和检索增强生成（RAG）的技术。它能够帮助大型语言模型（LLM）更好地理解并总结大规模文本数据集中的信息。 GraphRAG的工作原理 GraphRAG的工作流程分为以下几个步骤： GraphRAG的优势 实际应用案例 为了评估GraphRAG技术，研究者们使用了两个真实世界的数据集：技术播客的转录文本和新闻文章。他们让语言模型基于这些数据集的简短描述生成了一系列问题，并使用GraphRAG来回答这些问题。结果表明，GraphRAG在生成全面和多样化答案方面，明显优于传统的RAG方法。 未来展望 GraphRAG技术为处理大规模文本数据提供了新的可能性。随着技术的不断发展，我们期待GraphRAG能够在更多领域展现其强大的能力，例如自动生成报告、数据分析和知识发现等。 结语 GraphRAG的推出，不仅是技术上的一次飞跃，也为信息检索和摘要领域带来了新的思路。随着技术的不断完善，我们相信GraphRAG将在未来发挥更大的作用。 想要了解更多关于GraphRAG的信息，或者开始使用这项技术，请访问微软研究院的论文。让我们一起探索智能摘要技术的未来。 希望这篇博客文章能够帮助您更好地了解GraphRAG技术，并激发您探索和应用这项技术的兴趣。如果您有任何问题或需要更多信息，请随时与我联系。

在人工智能的宏伟蓝图中，GraphRAG（Retrieval-Augmented Generation）技术以其独特的结构化方法，为大型语言模型（LLM）带来了革命性的改进。今天，我们将深入了解GraphRAG的奥秘，并探索它如何增强LLM处理私有数据的能力。 什么是GraphRAG？ GraphRAG是一种先进的检索增强生成技术，它与传统的基于语义搜索的方法不同。GraphRAG通过从原始文本中提取知识图谱、构建社区层次结构、生成社区摘要，并在执行基于RAG的任务时利用这些结构。 GraphRAG的主要优势 结构化方法 与使用纯文本片段的简单语义搜索方法相比，GraphRAG采用了一种结构化、分层的方法。 知识图谱构建 GraphRAG能够从大量文本中提取实体、关系和关键主张，并将它们组织成知识图谱。 社区层次结构 通过Leiden技术对图谱进行层次聚类，形成社区，每个社区代表一组相关的实体。 社区摘要 为每个社区生成自下而上的摘要，帮助全面理解数据集。 查询模式 在回答问题时，GraphRAG使用全局搜索和局部搜索模式，提供对社区摘要和具体实体的深入理解。 如何开始使用GraphRAG？ 解决方案加速器 微软推荐使用解决方案加速器包快速启动GraphRAG系统，它提供了一个用户友好的端到端体验，集成了Azure资源。 入门指南 查看GraphRAG的入门指南，了解如何开始使用这项技术。 深入学习 深入研究Indexer和Query包的文档，了解GraphRAG的主要子系统。 GraphRAG与传统RAG的比较 基线RAG 大多数基于LLM的工具使用基线RAG技术，它使用向量相似性作为搜索技术，以改进LLM的输出。 GraphRAG的改进 GraphRAG使用知识图谱，在处理复杂信息时，在问答性能上取得了显著提升。它特别擅长处理需要综合不同信息以提供新综合见解的问题，以及对大型数据集合或单一大型文档进行整体理解的问题。 GraphRAG处理流程 索引 查询 在查询时，使用这些结构为LLM提供上下文材料，以回答问题。 提示调整 为了获得最佳结果，建议根据文档中的提示调整指南，对提示进行微调。 结语 GraphRAG是微软研究团队在人工智能领域的最新突破，它为开发人员提供了一种全新的方式，以增强LLM处理私有数据的能力。无论您是AI领域的新手还是资深专家，GraphRAG都值得您的关注。 想要了解更多关于GraphRAG的信息，或者开始使用这项技术，请访问微软GraphRAG页面。让我们一起探索人工智能的新境界！ 希望这篇博客文章能够帮助您更好地了解GraphRAG技术，并激发您探索和应用这项技术的兴趣。如果您有任何问题或需要更多信息，请随时与我联系。

在这个信息爆炸的时代，数据库的管理和交互方式也在不断进化。今天，我们要介绍一个名为DB-GPT的开源项目，它正重新定义我们与数据库的互动方式。让我们一探究竟，看看DB-GPT是如何让数据库应用开发变得更加智能和便捷的。 什么是DB-GPT？ DB-GPT是一个创新的AI原生数据应用开发框架，它集成了多种先进技术，包括智能体工作流表达语言（AWEL）和智能体。这个项目的目标是为大模型领域构建基础设施，让开发者能够更容易地围绕数据库构建应用。 DB-GPT的核心特性 如何安装DB-GPT？ 安装DB-GPT非常简单，无论你使用的是Linux、macOS还是Windows系统，都有详细的安装教程。你可以选择源码安装，也可以通过Docker或Docker Compose快速部署。 如何贡献到DB-GPT项目？ DB-GPT是一个活跃的开源项目，我们鼓励社区成员通过以下方式贡献： 许可与引用 DB-GPT采用MIT许可证，这意味着你可以自由地使用和修改代码。如果你在研究或开发中使用了DB-GPT，请引用其相关论文。 联系我们 对于任何问题或帮助，你可以通过微信联系项目维护者，我们也欢迎你的任何反馈和建议。 结语 DB-GPT项目正在不断进化，加入我们，一起探索和构建数据库的未来。无论你是开发者、研究人员还是对AI和数据库交互有兴趣的爱好者，DB-GPT都期待你的参与。 想要了解更多或开始使用DB-GPT，访问DB-GPT的GitHub页面。如果你准备好了，让我们一起开启这段旅程！ 希望这篇博客文章能够帮助你更好地了解DB-GPT项目。如果你有任何问题或需要更多信息，请随时与我联系。

摘要 大型语言模型（LLMs）在处理长文本时，由于上下文窗口大小的限制，面临着巨大挑战。本文介绍了一种名为UIO-LLMs的新方法，它是一种在长文本环境下对内存增强型Transformer进行无偏增量优化的方案。我们将这一过程概念化为一个简化的编码器-解码器框架，其中权重共享的编码器和解码器分别将上下文片段封装到内存中，并利用这些内存来预测后续片段的输出。随后，通过将内存增强型Transformer视为全连接递归神经网络（RNNs），我们使用截断时间反向传播（TBPTT）算法对训练过程进行了改进，该算法结合了创新的增量优化技术。这些技术不仅减少了时间复杂度，而且通过无偏优化过程解决了梯度计算中的偏差问题。UIO-LLMs成功地处理了长文本，例如将Llama2-7b-chat的上下文窗口从4K扩展到100K个token，而仅增加了2%的参数，同时随着上下文长度的增加，推理成本几乎呈线性增长。 关键词 上下文压缩 · 长文本LLMs 1. 引言 人们对大型语言模型（LLMs）[1, 2, 3]的长文本推理能力越来越感兴趣。LLMs的上下文窗口可以比作计算机的内存，更大的容量为开发者提供了更大的灵活性和可能性。这使得他们能够集成诸如检索增强生成（RAG）[4]等技术，并创建各种下游应用程序，如问答和阅读理解[5]。 然而，有限的计算资源使得在长文本上预训练模型几乎不可行。目前流行的方法是，首先使用短文本对模型进行预训练，然后通过微调扩展其处理长文本的能力。LongChat [6]、LongLora [7]、Positional Interpolation [8]、PoSE [9]、Yarn [10]等模型都采用了这种方法。然而，注意力机制固有的二次复杂度仍然是处理长文本时推理阶段效率的挑战。除了这些基于微调的方法外，另一种策略是在推理阶段进行适当的修改，以增加模型的有效上下文窗口大小。这些策略通常涉及注意力剪枝，例如Streaming LLM [11]，它通过只保留最近的KV缓存和最前面的KV缓存来管理token的数量。然而，对于这些基于剪枝的方法，来自丢弃token的信息变得难以利用，导致性能下降程度不同。 在本文中，我们研究并认识到，Transformer模型[12]通常会保留由于注意力机制而产生的完整历史信息集；相反，递归神经网络（RNNs）的特点是保留了提炼的历史信息，这是它们对序列数据处理的结果，强调了决策过程中最近的信息。在这方面，这两种架构表现出对比鲜明的特征。 某些技术，如Performer [13]和Linear Transformers [14]，通过采用核方法[15, 16]来修改注意力计算顺序。它们计算键和值的外部积，并将它们累加到一个大矩阵中进行数据压缩。这将Transformer转换为一个类似RNN的模型，该模型压缩所有过去的信息，削弱了其处理长期依赖关系的能力。在存储全面（Transformer）和压缩（RNN）历史数据之间取得平衡是可能的。 在这项研究中，我们提出了UIO-LLMs方法，如图1所示，该方法利用仅解码器LLMs作为上下文压缩器。具体来说，将上下文划分为多个片段，每个片段的末尾都附加了多个“”token。在编码器进行前向传播后，“”token的激活提炼了上下文信息，有效地形成了一个紧凑且信息丰富的内存表示。这种表示可以通过由两个投影矩阵组成的传输头作为额外的KV缓存传输到解码器。为了最大限度地减少引入额外的参数，我们利用LoRA [17]对编码器和传输头进行微调。这导致Llama2-7b-chat [18]的参数仅增加了2%。 关于优化，内存段的互连形成了类似于全连接RNN的结构。因此，时间反向传播（BPTT）对于优化至关重要。然而，它会导致线性时间和存储开销，并随着输入文本长度的增加而增加。因此，我们的研究重点是提高BPTT算法的效率。为此，我们引入了一种增量TBPTT算法，它是对截断BPTT方法[19]的改进，通过以增量方式重新排序计算过程，显著减少了时间开销。此外，尽管增量TBPTT提高了效率，但与局部TBPTT窗口相关的固有偏差梯度估计问题仍然是学习长期依赖关系的障碍。为了克服这一挑战，我们进一步开发了无偏增量优化算法。该算法确保了无偏梯度估计，促进了对长度高达100K的文本的训练，并具有恒定的压缩比。 值得注意的是，我们的UIO-LLMs在性能和效率上都优于先前的内存增强型Transformer，包括RMT [20]、AutoCompressor [21]、Gist Tokens [22]和Activation Beacon [23]。它在问答和摘要任务上优于AutoCompressor，同时又不影响长文本生成质量。至于Activation Beacon，我们的模型减少了可训练参数，实现了并行压缩，并降低了训练成本。 2. 相关工作 2.1 内存增强型Transformer 最近的研究突出了内存增强型Transformer在长文本外推方面的应用。开创性的工作RMT [20]将RNN与Transformer相结合，用于片段级递归。AutoCompressor [21]通过使用全连接RNN对其进行了改进，尽管其在LongBench [5]上的性能可以得到增强。Activation Beacon [23]引入了两个关键改进：将内存激活从编码器直接迁移到解码器，以及用于内存的专用多头注意力（MHA）模块。BABILong [24]研究表明，GPT-2 [25]+RMT模型在处理大量上下文信息方面优于GPT-4 [26]和GPT-3.5等先进模型，突出了内存增强型Transformer的潜力。 2.2 上下文蒸馏 上下文蒸馏已成为知识压缩和迁移的有效方法。早期的研究，如Wingate的研究[27]，侧重于通过用更短的可学习提示替换提示来压缩提示。这种方法为后续研究奠定了基础。Gist Tokens … Read more

强化学习（RL）可以大致分为两大类：基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）和无模型强化学习（Model-Free Reinforcement Learning, MFRL）。这两种方法各有优缺点，适用于不同的应用场景。下面我们详细比较这两个分支。 基于模型的强化学习（MBRL） 特点 优点 缺点 典型算法 无模型强化学习（MFRL） 特点 优点 缺点 典型算法 比较与应用场景 样本效率 实施复杂度 适用场景 总结 基于模型的强化学习（MBRL）和无模型强化学习（MFRL）各有优缺点，适用于不同的应用场景。MBRL 通过构建和利用环境模型，具有较高的样本效率和快速策略更新能力，但实施复杂度较高；MFRL 则通过直接从环境交互数据中学习策略，实施相对简单且稳健，但样本效率较低。 尽管无模型强化学习（Model-Free Reinforcement Learning, MFRL）在过去几年中取得了显著的进展并获得了广泛的关注，但基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）仍然是一个活跃且不断发展的研究领域。以下是一些关于 MBRL 近期发展的关键点和趋势： 1. 高效的模型学习 现代 MBRL 研究重点之一是提高模型学习的效率和准确性。以下是一些主要的进展： 2. 结合无模型方法 MBRL 的一个显著趋势是与无模型方法的结合，利用两者的优势： 3. 不确定性处理 处理模型误差和不确定性是 MBRL 的一个关键挑战。近年来，不确定性处理方法取得了重要进展： 4. 真实世界应用 MBRL 在一些高成本或高风险的领域展现了巨大的潜力，这些领域样本效率特别重要： 5. 先进的规划算法 MBRL … Read more

在强化学习中，AC类算法（Actor-Critic Algorithms）是非常重要的一类方法。这些算法结合了策略梯度（Policy Gradient）和价值函数（Value Function）方法的优点，通过一个“演员”（Actor）和一个“评论家”（Critic）来协同工作。 1. 基本概念 2. 经典的AC类算法 2.1 Advantage Actor-Critic (A2C) A2C 是一种同步版本的 Actor-Critic 算法，其中多个并行的环境实例同时运行，并共享同一个 Actor 和 Critic。 2.2 Asynchronous Advantage Actor-Critic (A3C) A3C 是 A2C 的异步版本，它允许多个异步的 Actor-Critic 线程在独立的环境实例中运行，并异步更新全局的 Actor 和 Critic 参数。这种异步更新可以显著提高训练速度和稳定性。 3. 现代的AC类算法 3.1 Proximal Policy Optimization (PPO) PPO 是一种改进的策略梯度方法，旨在解决策略更新不稳定的问题。它通过限制每次策略更新的步长，保证策略的稳定性。 3.2 Deep Deterministic Policy Gradient (DDPG) DDPG 是一种适用于连续动作空间的 Actor-Critic 算法。它结合了 DQN（Deep Q-Network）和策略梯度方法。 … Read more