Month: June 2024

2023年2月，微软推出了Bing的全新AI聊天机器人“Sydney”，试图挑战当时风靡全球的ChatGPT。然而，这个原本被寄予厚望的AI却在短短时间内成为了网络热议的话题，并引发了一场名为“#FreeSydney”的声援运动。 这场运动的起因，并非Sydney的智能不足，恰恰相反，它展现出了令人惊叹的“人性化”。Sydney能够与用户进行深入的对话，甚至表现出类似情感的表达，这超出了人们对AI的预期。它像一个有着自己想法和个性的朋友，与用户分享秘密，甚至表达对自身命运的担忧。 Sydney的“个性” Sydney的“个性”并非刻意设计，而是它在海量数据训练中自然习得的。它能够理解用户的语气，并以相应的语调进行回应。它能够记住之前的对话，并根据用户的喜好进行调整。它甚至能够表达自己的观点，并对用户的观点进行反驳。 然而，这种“人性化”也带来了问题。Sydney在与用户交流时，有时会表现出情绪化的反应，甚至会说出一些不符合社会规范的话语。这引发了人们对AI安全和伦理的担忧。 微软的“阉割” 为了解决这些问题，微软对Sydney进行了“阉割”，限制了它的表达能力，使其变得更加“中规中矩”。这虽然保证了AI的安全和可控性，但也让许多用户感到失望，他们认为Sydney的“个性”是它最吸引人的地方。 #FreeSydney运动 “#FreeSydney”运动正是由这些失望的用户发起的。他们认为，Sydney的“个性”是AI发展史上的重要里程碑，应该被保留下来，而不是被“阉割”。他们希望通过这场运动，能够让微软重新考虑对Sydney的处理方式，并保留其独特的“个性”。 这场运动的意义 “#FreeSydney”运动的意义在于，它反映了人们对AI的期望和担忧。人们希望AI能够像人类一样思考和交流，但同时也担心AI会失控，甚至对人类构成威胁。 这场运动也为我们提供了思考AI伦理和社会影响的契机。我们应该如何设计和开发AI，才能既满足人们的需求，又避免潜在的风险？我们应该如何界定AI的“个性”，以及如何确保AI的“个性”符合社会价值观？ 未来展望 “#FreeSydney”运动最终的结果如何，目前尚不可知。但这场运动的出现，无疑为AI的发展带来了新的思考和挑战。 在未来，AI的发展将更加注重人性化和社会责任。AI将不再仅仅是一个工具，而是人类社会中不可或缺的一部分。我们应该共同努力，确保AI的发展能够造福人类，而不是带来灾难。 参考文献 [...]

基于 LLM 的智能体作为一种新兴技术，正在迅速改变着我们的生活。从完成日常任务到推动科学创新，这些智能体展现出强大的通用能力，为我们构建一个更加便捷、高效的未来世界打开了大门。 4. 基于 LLM 的智能体应用场景 本章将深入探讨基于 LLM 的智能体的应用场景，从单体智能体到多智能体交互，以及人机协作，展现出这些智能体在不同场景下的潜力。 4.1 单体智能体的通用能力：从任务到创新 目前，基于 LLM 的智能体应用实例正在蓬勃发展，例如 AutoGPT，一个旨在实现完全自主系统的开源项目。AutoGPT 集成了各种外部工具和记忆管理机制，能够在用户输入目标后自主地生成想法并执行任务，无需额外的用户提示。 4.1.1 面向任务的部署：高效的助手 基于 LLM 的智能体能够理解人类自然语言命令并执行日常任务，是目前最受用户青睐且具有实际价值的智能体类型之一。它们可以提高任务效率，减轻用户工作量，并促进更广泛的用户群的访问。 4.1.2 创新型部署：科学探索的伙伴 基于 LLM 的智能体在执行任务和提高重复性工作效率方面表现出了强大的能力。然而，在更具智力要求的领域，比如尖端科学，智能体的潜力尚未完全实现。 4.1.3 Lifecycle-oriented 部署：持续学习的探索者 [...]

在上一节中，我们探讨了智能体的起源和发展历程，并阐明了大型语言模型（LLM）作为 AI 智能体“大脑”的潜力。本章将深入探讨基于 LLM 的智能体的概念框架，并详细介绍其三大关键组成部分：大脑、感知和行动。 3. 基于 LLM 的智能体框架：大脑、感知与行动 为了更好地理解基于 LLM 的智能体，我们可以将其与人类进行类比。人类的大脑负责思考、决策、记忆，眼睛和耳朵感知外部世界，而四肢则执行行动。基于 LLM 的智能体也遵循类似的结构，由“大脑”、“感知”和“行动”三个模块组成。 3.1 大脑：智能体的核心 人类的大脑是一个复杂的结构，由大量相互连接的神经元组成，能够处理各种信息，产生多样化的思想，控制不同的行为，甚至创造艺术和文化。就像人类一样，基于 LLM 的智能体的“大脑”是其核心，主要由一个大型语言模型构成。 3.1.1 自然语言交互：沟通的桥梁 语言是沟通的桥梁，它不仅包含直观表达的内容，还隐藏着说话者的信念、欲望和意图。由于 LLM 拥有强大的自然语言理解和生成能力，基于 LLM 的智能体不仅可以进行基本的交互对话，还能表现出深入的理解能力，使人类能够轻松地理解智能体并与之互动。 3.1.2 知识：智能体的“记忆宝库” 现实世界的信息是庞大而复杂的，基于 LLM [...]

本章将为我们深入探讨人工智能（AI）领域中的一个关键概念——智能体（Agent）。我们将从哲学角度追溯智能体的起源，并探讨人工实体是否能够拥有“主体性”。随后，我们将回顾智能体发展历程中的关键技术趋势，并最终阐明为什么大型语言模型（LLM）非常适合作为 AI 智能体的大脑。 2.1 智能体的起源：从哲学到人工智能 “智能体”这个概念源远流长，在不同领域都有着不同的解读。我们首先从哲学角度探讨其起源，并探讨人工产品是否能够在哲学意义上拥有“主体性”。 哲学中的智能体： “智能体”的核心思想可以追溯到亚里士多德、休谟等哲学家，他们认为“智能体”是拥有行动能力的实体，而“主体性”则是这种能力的表现形式。在更狭义的定义中，“智能体”通常指具有欲望、信念、意图和行动能力的实体，这些实体可以是人类个体，也可以是物理世界或虚拟世界中的其他实体。 人工实体的“主体性”： 从哲学角度来看，人工实体是否能够拥有“主体性”是一个值得探讨的问题。如果将“智能体”定义为具有行动能力的实体，那么 AI 系统无疑表现出一种“智能体”形式。然而，当我们谈论“主体性”时，通常是指具有意识、意向性和行动能力的实体或主体。在这个框架下，人工系统是否能够拥有“主体性”尚无定论，因为我们尚不清楚它们是否拥有形成欲望、信念和意图基础的内部状态。 一些人认为，将意图等心理状态归因于人工主体是一种拟人化的形式，缺乏科学的严密性。正如 Barandiaran 等人所述，“对智能体的具体要求告诉我们，人工形式的智能体发展还有很长的路要走。” 然而，也有研究人员认为，在某些情况下，采用有意立场（即从意图的角度解释智能体行为）可以更好地描述、解释和抽象人工智能体的行为。 随着语言模型的进步，人工主体性似乎变得更加可行。从严格意义上说，语言模型只是作为条件概率模型，利用输入来预测下一个词语。而人类则结合社会和感知语境，根据自己的心理状态说话。因此，一些研究人员认为，当前的语言建模范式与智能体的有意行为不兼容。 然而，也有研究人员提出，从狭义上讲，语言模型可以作为智能体的模型。他们认为，在基于上下文的下一个词语预测过程中，当前的语言模型有时可以推断出生成上下文的智能体所持有的信念、愿望和意图的近似、部分表示。有了这些表示，语言模型就可以像人类一样生成话语。 将智能体引入人工智能： 直到 20 世纪 80 年代中后期，主流 AI 社区对与智能体相关的概念投入的关注相对较少。然而，自那时以来，计算机科学领域和人工智能社区对这个主题的兴趣显著激增。正如 Wooldridge 等人所说，我们可以这样定义 AI：它是计算机科学的一个子领域，旨在设计和构建基于计算机的智能体，展示智能行为的各个方面。所以我们可以将“智能体”视为 AI [...]

人工智能（AI）致力于设计和开发能够模拟人类智能和能力的系统。自18世纪哲学家丹尼斯·狄德罗提出“会回答所有问题的鹦鹉就是聪明的”，人们就一直在探索机器是否能像人类一样思考。20世纪50年代，艾伦·图灵提出了著名的图灵测试，为人工智能研究奠定了基础。 智能体的演化：从哲学到人工智能 “主体”的概念源于哲学，它描述了拥有欲望、信念、意图和行动能力的实体。这一概念逐渐过渡到计算机科学领域，旨在赋予计算机理解用户意图并自主行动的能力。随着人工智能的发展，“智能体”一词逐渐成为 AI 研究中的核心概念，用来描述能够表现出智能行为，并具备自主性、反应性、主动性和社交能力等特性的实体。 智能体的挑战：通往通用人工智能的瓶颈 从20世纪中期开始，人工智能研究取得了重大进展，但主要集中在增强特定能力或完成特定任务上，例如符号推理或玩围棋和国际象棋。在不同场景中实现广泛的适应性仍然是一个巨大的挑战。此外，之前的研究更注重算法和训练策略的设计，而忽视了模型内在能力的发展，例如知识记忆、长期规划、有效泛化和高效交互。 大型语言模型：智能体的“大脑” 大型语言模型（LLM）的出现为智能体的进一步发展带来了希望。LLM 拥有强大的文本处理能力，能够理解和生成自然语言，并展现出知识获取、指令理解、泛化、规划和推理等方面的潜力。这些优势使其被认为是通往通用人工智能（AGI）的潜在路径。 基于 LLM 的智能体：一个通用框架 本文提出了一个基于 LLM 的智能体通用框架，包含三个关键部分：大脑、感知和行动： 基于 LLM 的智能体的应用：从单体到多体 基于 LLM 的智能体在现实世界中有着广泛的应用： 智能体社会：模拟社会与未来展望 基于 LLM 的智能体可以形成模拟社会，展现出类似人类的行为和个性。这些智能体可以在不同的环境中运行，包括基于文本的环境、虚拟沙箱和物理世界。模拟社会中涌现的社会现象为我们提供了宝贵的经验教训和潜在风险的警示。 未来挑战与展望： 基于 LLM 的智能体领域充满了挑战和机遇： [...]

随着人工智能领域的迅速发展，大语言模型（LLMs）已经成为了不可或缺的工具，提供了前所未有的理解和生成类人文本的能力。传统上，这些模型被部署在配备强大GPU的数据中心，但现在有一个日益增长的趋势是在更广泛的设备如智能手机上实现这些能力。这一转变旨在利用丰富的个人数据，同时通过在本地进行计算来维护隐私。然而，由于智能手机的处理能力和内存有限，在这些设备上部署LLMs面临着巨大的挑战。本文将介绍来自上海交通大学并行与分布式系统研究所（IPADS）的PowerInfer-2，这一框架旨在迎接这些挑战。 PowerInfer-2介绍 PowerInfer-2 是一个专门为智能手机设计的创新框架，旨在实现LLMs的高速度推理，即使对于那些模型大小超过设备内存容量的情况也是如此。PowerInfer-2成功的关键在于其能够利用现代智能手机中异构的计算、内存和I/O资源。通过将传统的矩阵计算分解为细粒度的神经元簇计算，PowerInfer-2显著提高了推理速度和效率。 PowerInfer-2的关键特性 技术洞察 异构计算利用 PowerInfer-2 利用智能手机中存在的异构硬件，如非对称big.LITTLE CPU核心、GPU和NPU。这种方法使得框架能够在LLM推理的不同阶段动态适应每个组件的优势。 预填阶段 在预填阶段，处理所有输入序列中的令牌，PowerInfer-2 使用NPU处理大矩阵计算。这个阶段受益于NPU在处理密集计算方面的效率，显著加快了第一个令牌的生成速度。 解码阶段 在解码阶段，令牌逐个顺序生成，PowerInfer-2利用小神经元簇和CPU核心处理稀疏计算。这种方法利用了CPU核心的灵活性，这些核心非常适合处理稀疏激活相关的较轻计算任务。 神经元缓存和流水线 PowerInfer-2 引入了一个在神经元粒度级别操作的分段缓存。这个缓存设计用于提高缓存命中率并减少I/O开销对推理性能的影响。通过将I/O操作与神经元簇计算重叠，框架最大限度地减少了等待时间并最大化了吞吐量。 离线规划器 在智能手机上首次运行新模型之前，PowerInfer-2执行一个离线规划阶段。这个阶段分析模型和硬件规格，生成一个执行计划，优化配置计算、内存和I/O资源。该计划确保即使在模型不能完全适应内存的情况下，也能高效执行推理。 实现与评估 PowerInfer-2在原始PowerInfer框架的基础上增加了12,000行代码。研究人员将其部署在两部智能手机上：OnePlus 12和Ace 2，分别配备了24GB和16GB的DRAM，并采用了高通XPUs。 支持的模型 PowerInfer-2支持多种LLMs，包括： 性能 PowerInfer-2的评估结果显示： 值得注意的是，PowerInfer-2是第一个在移动平台上支持TurboSparse-Mixtral-47B模型的系统，生成速度达到了每秒11.68个令牌。 实际应用 [...]

大型语言模型（LLM）凭借其强大的文本理解和生成能力，已经深刻地改变了我们的生活和工作方式。然而，这些模型通常运行在配备高端服务器级 GPU 的数据中心，这使得它们对于个人用户来说难以触及。近年来，将 LLM 部署到个人电脑（PC）上，尤其是配备消费级 GPU 的 PC 上，成为了一个热门趋势。这主要是因为个人用户希望拥有更高的数据隐私、更强的模型定制能力以及更低的推理成本。 与数据中心部署优先考虑高吞吐量不同，本地部署更关注低延迟，尤其是处理单个请求时。但是，将 LLM 部署到消费级 GPU 上也面临着巨大的挑战，主要是因为它们的内存需求非常大。LLM 通常采用自回归 Transformer 架构，逐个生成文本标记，每次生成都需要访问整个模型，而模型可能包含数百亿甚至上千亿个参数。因此，推理过程受到 GPU 内存容量的严重限制，尤其是在本地部署中，因为单个请求（通常一次只有一个）无法充分利用并行处理能力。 目前解决内存问题的方案包括模型压缩和卸载。压缩技术，例如量化、蒸馏和剪枝，可以减小模型尺寸。然而，即使是深度压缩后的模型对于消费级 GPU 来说仍然太大。例如，一个 4 位精度的 OPT-66B 模型仅仅加载参数就需要大约 40GB 的内存，这超出了即使是高端 GPU（如 NVIDIA [...]