Day: August 4, 2024

在人工智能发展的关键时刻,Meta公司发布了其最新一代大语言模型Llama 3,标志着向负责任的通用人工智能(AGI)迈出重要一步。这个开源发布的模型群在多项基准测试中展现出与GPT-4等领先模型相当的能力,同时在有益性和无害性之间保持了更好的平衡。 模型规模与训练细节 Llama 3包含8B、70B和405B参数三个版本,其中最大的405B参数版本是一个具有126层、16,384个令牌表示维度和128个注意力头的密集Transformer模型。它在15.6万亿个多语言令牌上进行了预训练,使用了总计$3.8 \times 10^{25}$次浮点运算。 Meta研究人员表示,他们在开发过程中重点关注三个关键因素:数据质量与数量、模型规模、以及复杂性管理。在数据方面,相比Llama 2的1.8万亿令牌,Llama 3使用了约15万亿的多语言令牌进行预训练。在规模上,405B参数的旗舰版本比Llama 2的最大版本多近50倍的计算量。 在复杂性管理方面,研究团队选择了标准的密集Transformer架构,而非专家混合模型,以最大化训练稳定性。他们还采用了相对简单的后训练程序,基于监督微调(SFT)、拒绝采样(RS)和直接偏好优化(DPO),而非更复杂的强化学习算法。 突破性能力与评估结果 Llama 3展现出全面的语言理解与生成能力。在多项基准测试中,它的表现与GPT-4等顶级模型相当,甚至在某些任务上超越了它们。 在MMLU(多任务语言理解)测试中,Llama 3 405B模型达到了87.8%的准确率,接近GPT-4的86.4%。在AI2推理挑战赛中,Llama 3的得分为91.8%,超过了GPT-4的87.0%。在数学推理能力方面,Llama 3在GSM8K基准上取得了94.2%的准确率,相比GPT-4的92.0%也有所领先。 此外,Llama 3还展现出强大的代码生成与理解能力。在HumanEval基准测试中,它达到了88.0%的通过率,与GPT-4的的67.0%相比有显著提升。在MBPP基准上,Llama 3的得分为78.0%,同样超过了GPT-4的的64.1%。 Meta研究人员强调,Llama 3不仅在英语任务上表现出色,在多语言能力方面也有重大突破。例如,在MGSM基准(涵盖多种语言的数学问题)上,Llama 3达到了87.5%的准确率,远超GPT-4的58.2%。 创新训练方法与架构设计 Llama 3的成功离不开其创新的训练方法和架构设计。研究团队采用了一种分阶段的训练策略,包括初始预训练、长上下文预训练和退火三个阶段。 在初始预训练阶段,模型使用余弦学习率计划,峰值学习率为$8 [...]

在人工智能领域,基于大型语言模型(LLM)的AI代理正引发新一轮技术革命。这些AI代理能够像人类一样感知环境、做出决策并执行行动,在机器人规划、旅行规划等领域展现出巨大潜力。然而,如何提升AI代理的规划能力一直是一个挑战。最近,微软研究院联合香港大学的研究人员提出了一种名为AGENTGEN的创新框架,有望在这一问题上取得重大突破。 传统方法存在局限性 目前提升AI代理规划能力的主流方法是通过指令微调(instruction tuning)来训练大型语言模型。具体而言,研究人员会构建一些规划任务和环境,让AI代理在其中执行并收集高质量的轨迹数据(动作-观察序列),然后用这些数据来微调语言模型。 然而,这种方法存在一个关键瓶颈:构建多样化的环境和任务需要大量人工劳动。设计一个环境不仅要定义丰富而实用的场景,还需要编程技能来实现。制定任务则需要创建一套难度递进的任务集。由于这些限制,现有研究通常只能使用少量环境来生成训练数据。 AGENTGEN:自动构建海量环境和任务 为了突破这一瓶颈,微软研究院联合香港大学的研究人员提出了AGENTGEN框架。该框架利用大型语言模型自动构建多样化的环境和规划任务,将可用的环境数量从几个扩展到数百个。AGENTGEN主要包括两个阶段: 1. 环境生成 为了生成足够多样化的环境,研究人员使用了一个灵感语料库作为上下文。具体来说,他们首先从灵感语料库中随机选择一段文本,然后提示大型语言模型生成相关的环境规范,包括动作、限制等细节。例如,从语料库中选择”如何用花生酱粉提升你的饮食?”这段文本后,语言模型生成了一个相关的环境规范:”你是一名营养师,负责创作一本新的健康食谱,将花生酱粉作为关键成分”。 接下来,研究人员让语言模型根据这个规范生成相应的代码,可以是Python、PDDL(Planning Domain Definition Language)或其他特定领域语言。他们还构建了一个环境库,作为上下文示例,并通过迭代方式不断扩充高质量的新生成环境。 2. 任务生成 在生成环境的基础上,AGENTGEN还会创建多个规划任务。为了实现任务难度的多样性,研究人员提出了一种双向演化方法BI-EVOL。具体而言,语言模型首先生成一些随机规划任务,然后通过施加约束朝简化和增加难度两个方向演化这些任务。这种方法创建的任务集具有平滑的难度曲线,有助于语言模型更顺畅地获取规划技能。 实验验证AGENTGEN有效性 为了验证AGENTGEN的有效性,研究人员基于PDDL语言合成了环境和规划任务,构建了一个包含592个环境、每个环境20个任务的数据集。他们使用独立于领域的规划器获得了7,246条高质量轨迹。随后,研究人员使用这些轨迹数据对一系列语言模型进行指令微调,并在AgentBoard上展示了训练后的模型性能。 实验结果表明,AGENTGEN在领域内任务上比原始的LLama3-8B模型提高了5倍以上(11.67 vs 1.67),总体表现超过了GPT-3.5。在某些特定任务上,它甚至超越了GPT-4的表现。在领域外任务上,AGENTGEN也展现了类似的实验结果。具体而言,它显著提高了成功率,在Alfworld和BabyAI上分别实现了29.1和4.47的提升。在Alfworld上,AGENTGEN甚至超过了GPT-3.5的表现(29.1 vs 17.2)。 AGENTGEN的意义与展望 AGENTGEN框架的提出具有重要意义: AGENTGEN为提升AI代理的规划能力开辟了一条新路径。未来,研究人员可能会进一步扩展这一框架,使其适用于更多类型的AI代理场景,如记忆、工具使用等。这将为构建更强大、更通用的AI代理奠定基础,推动人工智能向着更高层次发展。 (参考文献: Hu, M., [...]

在人工智能领域,大型语言模型(Large Language Models, LLMs)的发展如火如荼。作为这一领域的佼佼者,Llama系列模型一直备受关注。随着Llama 3的横空出世,其在模型架构、训练方法等方面的创新再次引发业界热议。本文将深入探讨Llama 3模型在训练过程中采用的多维度损失函数策略,揭示其如何通过精心设计的损失函数组合,打造出更加强大、灵活的语言模型。 损失函数:大语言模型的指路明灯 在机器学习领域,损失函数扮演着至关重要的角色。它就像是为模型指明方向的指南针,引导模型不断调整参数,最终达到预期的效果。对于大型语言模型而言,损失函数的设计直接影响着模型的学习效果和最终性能。 Llama 3模型的成功,很大程度上归功于其采用的多维度损失函数策略。这种策略不仅包含了传统的交叉熵损失,还融合了多种创新性的损失函数,形成了一个全方位、多角度的学习目标体系。 Llama 3的损失函数全家福 1. 交叉熵损失函数:基础中的基础 交叉熵损失函数是Llama 3模型的主要损失函数。它源于信息论,用于衡量模型预测的概率分布与真实概率分布之间的差异。在语言模型中,交叉熵损失函数的计算公式如下: $L_{CE} = -\sum_{i=1}^{n} y_i \log(\hat{y}_i)$ 其中,$y_i$是真实标签,$\hat{y}_i$是模型预测的概率。 交叉熵损失函数的工作原理可以类比为教导一个学生写作。想象一下,我们给学生一篇范文,然后让他尝试续写。每当学生写出一个词,我们就会根据这个词与范文中相应位置的词的匹配程度给出反馈。如果学生写出的词与范文完全一致,那么损失就很小;反之,如果写出的词与范文相差甚远,损失就会很大。通过这种方式,学生(模型)会逐渐学会如何更准确地预测下一个词,从而提高写作(生成文本)的能力。 2. 标签平滑:为模型注入”谦逊” 在Llama 3的训练过程中,研究人员还引入了标签平滑技术。这种技术的本质是将原本”硬性”的标签稍微”软化”。例如,原本的标签可能是[0, 0, 1, 0],表示第三个选项是正确答案。经过标签平滑后,它可能变成[0.05, [...]

在人工智能和自然语言处理领域,信息抽取一直是一个备受关注的研究方向。传统的信息抽取方法往往需要为每个具体任务设计特定的模型,这不仅增加了开发成本,也限制了模型在不同任务间的知识共享。近日,来自国际数字经济研究院、华南理工大学等机构的研究人员提出了一种名为UniEX的新型通用信息抽取框架,有望彻底改变这一现状。 统一视角下的信息抽取 UniEX框架的核心思想是将各种信息抽取任务统一看作是对文本中片段(span)的检测、分类和关联问题。研究人员发现,不同的信息抽取任务本质上都涉及确定语义角色和语义类型,而这些都可以转化为文本片段的形式。 例如,命名实体识别任务可以看作是检测语义角色的边界并对其进行分类;关系抽取则可以视为在特定语义角色之间建立语义关联。基于这一洞察,UniEX框架将信息抽取任务分解为三个基本操作: 这种统一的视角使得UniEX框架能够以相同的方式处理各种信息抽取任务,包括命名实体识别、关系抽取、事件抽取和情感分析等。 创新的架构设计 为了实现这一统一的抽取范式,UniEX框架采用了多项创新设计: UniEX采用了一种规则化的转换方法,将各种抽取目标和统一的输入格式进行桥接。具体来说,它利用带有标识符的特定任务标签作为基于模式的提示,以学习通用的信息抽取知识。 例如,对于一个命名实体识别任务,输入可能是这样的: 这种设计使模型能够同时编码基于模式的提示和文本信息。 研究表明,具有双向上下文表示的自编码语言模型更适合自然语言理解任务。因此,UniEX采用了类似BERT的语言模型来构建其基础抽取架构,以进行底层语义编码。 UniEX引入了一种名为”三仿射注意力机制”(triaffine attention mechanism)的新技术来进行结构解码。这种机制能够同时考虑多个因素之间的高阶交互,包括任务、标签和内部标记。每个三仿射评分矩阵都分配给一个特定需求的提示,以获得基于片段的抽取目标。 具体来说,UniEX首先使用两个独立的前馈神经网络来创建内部标记的起始/结束位置的不同表示。然后,它应用深度三仿射变换,使用权重矩阵 $W \in R^{d×d×d}$ 来聚合基于模式的片段表示。这个过程可以用以下公式表示: $H^s_x = FFNs(H_x)$$H^e_x = FFNe(H_x)$$S = σ(W ×_1 H_s ×_2 H^s_x [...]

雷·库兹韦尔：人工智能不仅仅是数字革命，更将彻底改变人类生活 在数字世界掀起波澜之后，人工智能(AI)正准备跨越虚拟与现实的鸿沟，向物理世界发起冲击。这场革命性的变革将给人类带来无数好处，但其中三个领域的影响尤为深远：能源、制造业和医药。作为在AI领域工作了61年的资深专家，我有幸见证了这一技术从科幻小说般的构想逐步成为全球关注的焦点。然而，大多数评论都忽视了像ChatGPT和Gemini这样的大型语言模型如何融入一个更宏大的故事中。 太阳能：清洁能源的未来之星 能源是人类文明最基本的资源之一。两个世纪以来，世界一直依赖着肮脏、不可再生的化石燃料。然而，仅利用地球接收阳光的0.01%就足以满足人类所有的能源消耗。自1975年以来，太阳能电池每瓦容量的成本已经下降了99.7%，使得全球太阳能装机容量增加了约200万倍。那么，为什么太阳能还没有成为主导能源呢？ 问题主要有两个方面。首先，光伏材料仍然太昂贵且效率不高，无法完全取代煤炭和天然气。其次，由于太阳能发电量存在昼夜和季节性的变化，需要存储大量能源以备不时之需——而当今的电池技术在成本效益上还不够理想。物理定律表明，在这些方面有巨大的改进空间，但化学可能性的范围如此之大，以至于科学家们的进展一直非常缓慢。 相比之下，AI可以在模拟中快速筛选数十亿种化学成分，并且已经在推动光伏和电池领域的创新。这一进程正准备大幅加速。直到2023年11月之前的整个人类历史中，我们只发现了约20,000种可用于各种技术的稳定无机化合物。然而，谷歌的GNoME AI一夜之间就将这个数字增加到了421,000。这仅仅是材料科学应用的冰山一角。一旦智能水平更高的AGI（通用人工智能）找到完全优化的材料，大型光伏项目将变得可行，太阳能将变得如此丰富，几乎可以免费使用。 制造业革命：从稀缺到丰裕 能源的丰富将引发另一场革命：制造业的变革。几乎所有商品的成本——从食品和服装到电子产品和汽车——主要来自几个共同因素，如能源、劳动力（包括研发和设计等认知劳动）和原材料。AI正在大幅降低所有这些成本。 在廉价、丰富的太阳能之后，下一个组成部分是人类劳动力，这通常是艰苦和危险的。AI在机器人技术方面正在取得重大进展，可以大大降低劳动力成本。机器人技术还将降低原材料提取成本，而AI正在寻找用锆、硅和碳基石墨烯等常见元素替代昂贵稀土元素的方法。总的来说，这意味着大多数种类的商品将变得异常便宜和丰富。 这些先进的制造能力将使计算的性价比保持过去一个世纪的指数轨迹——自1939年以来提高了75万亿倍。这是由于一个反馈循环：今天最先进的AI芯片被用来优化下一代芯片的设计。就每秒每美元的计算次数而言，去年11月最好的硬件可以达到480亿次。而英伟达新的B200 GPU已经超过5000亿次。 生物医学革命：从近似到精确 随着我们建立起模拟生物学所需的巨大计算能力，我们将解锁AI带来的第三次物理革命：医学。尽管在过去200年中取得了巨大进展，但我们对人体的理解仍然建立在混乱的近似之上，这些近似通常对大多数患者来说大体正确，但可能对你个人并不完全适用。每年有数万美国人因服用研究表明应该有帮助的药物而死亡。 然而，AI正开始将医学转变为一门精确的科学。分子生物模拟——一种帮助研究人体和药物作用机制的精确计算机建模——可以快速评估数十亿个选项，找到最有前景的药物，而不是在实验室中进行耗时的试错。去年夏天，第一种由AI从头到尾设计的药物进入了二期临床试验，用于治疗特发性肺纤维化，这是一种肺部疾病。现在，数十种其他由AI设计的药物正在进入临床试验阶段。 随着模拟融入AI带来的更丰富数据，药物发现和试验流程将被大大加速。在2022年之前的整个人类历史中，科学家们只确定了约19万种蛋白质的形状。而在那一年，DeepMind的AlphaFold 2发现了超过2亿种，这些发现已免费向研究人员开放，以帮助开发新的治疗方法。 还需要进行更多的实验室研究来准确填充更大的模拟，但路线图已经很清晰。接下来，AI将模拟蛋白质复合物，然后是细胞器、细胞、组织、器官，最终是整个身体。 这最终将取代今天的临床试验，后者昂贵、风险高、速度慢且统计学上缺乏说服力。即使在三期试验中，可能也没有一个受试者在基因、生活方式、合并症、药物相互作用和疾病变异等所有相关因素上与你完全匹配。 数字试验将让我们能够为每个患者量身定制药物。这潜力令人惊叹：不仅可以治愈癌症和阿尔茨海默病等疾病，还可以消除衰老本身的有害影响。 长寿逃逸速度：人类寿命的飞跃 今天，科学进步每年为普通美国人或英国人增加6到7周的预期寿命。当AGI让我们完全掌握细胞生物学时，这些增长将急剧加速。一旦预期寿命的年度增长达到12个月，我们就将实现”长寿逃逸速度”。对于那些勤于保持健康习惯并使用新疗法的人来说，我相信这将在2029年到2035年之间发生——届时，衰老将不会增加他们的年度死亡概率。由于计算的价格性能指数呈指数级提高，起初昂贵的AI驱动疗法将很快变得广泛可用。 这是AI最具变革性的承诺：更长、更健康的生命，不再受制于自人类诞生以来一直限制我们的稀缺和脆弱。 结语：AI时代的新篇章 随着AI技术的不断进步，我们正站在一个新时代的门槛。能源、制造和医疗领域的革命性变化将重塑人类社会的方方面面。廉价清洁的能源将推动经济增长，先进的制造技术将使商品更加affordable，而精准医疗的发展则有望大幅延长人类寿命。 然而，这一切的实现还需要时间和持续的努力。我们必须谨慎地权衡AI带来的机遇和挑战，确保这些技术造福全人类，而不是加剧不平等。同时，我们也要保持警惕，防范可能出现的风险和滥用。 无论如何，AI正在开启一个充满无限可能的新时代。我们有理由对未来充满期待，同时也要为迎接这个新时代做好准备。让我们共同努力，塑造一个更美好、更智能的未来。 参考文献： [...]