AGI

近年来,大语言模型(Large Language Models, LLMs)的快速发展为人工智能领域带来了革命性的变革。从OpenAI的GPT系列到Google的PaLM,再到Anthropic的Claude,这些强大的语言模型展现出了令人惊叹的能力,能够执行各种复杂的自然语言任务。然而,如何有效地利用这些模型、激发它们的潜力,成为了研究人员和实践者面临的一大挑战。在这一背景下,提示工程(Prompting)应运而生,并迅速成为了人工智能领域的热门话题。 提示工程是指通过设计和优化输入提示(prompts),来引导大语言模型产生期望输出的技术。它不仅是人类与AI交互的桥梁,更是充分发挥模型能力的关键。本文将深入探讨提示工程的重要性、最新研究进展,以及未来发展方向,为读者提供一个全面而清晰的认识。 提示工程的重要性 1. 提高模型性能 提示工程能够显著提升大语言模型的性能。通过精心设计的提示,我们可以激发模型的潜力,使其在特定任务上表现得更加出色。例如,在复杂的推理任务中,采用”思维链”(Chain-of-Thought, CoT)提示技术,可以引导模型一步步地展开思考过程,从而得出更准确的结论。 2. 增强模型适应性 大语言模型通常是通过海量数据训练得到的通用模型。然而,在特定领域或任务中,这些模型可能需要进一步的调整才能发挥最佳性能。提示工程提供了一种低成本、高效率的方法,使模型能够快速适应不同的应用场景,而无需进行昂贵的微调(fine-tuning)过程。 3. 提高交互效率 在人机交互中,精心设计的提示可以大大提高交互的效率和质量。通过清晰、具体的指令,我们可以引导模型产生更加精准、相关的回应,减少不必要的来回对话,从而提升用户体验。 4. 实现任务分解 对于复杂的任务,提示工程可以帮助我们将其分解为一系列更小、更易管理的子任务。这种方法不仅可以提高模型的解决问题能力,还能增强结果的可解释性和可靠性。 5. 增强模型安全性 通过精心设计的提示,我们可以在一定程度上约束模型的输出,避免产生有害或不适当的内容。这对于构建安全、可靠的AI系统至关重要。 提示工程的最新研究进展 提示工程作为一个快速发展的研究领域,吸引了众多学者和工程师的关注。以下是几个重要的研究方向和最新进展: 1. 提示技术的系统化研究 研究人员已经开始对提示技术进行系统化的总结和分类。根据Schulhoff等人的研究[1],目前已经识别出58种不同的提示技术,涵盖了从基础提示到高级推理策略的广泛范围。这些技术包括但不限于: 这种系统化的研究为提示工程的理论发展和实践应用提供了重要的基础。 2. 社会角色在提示中的影响 Zheng等人[2]的研究探讨了在系统提示中使用不同社会角色对模型性能的影响。他们测试了162种不同的角色,涵盖了6种人际关系类型和8种职业类型。研究发现: 这项研究为系统提示的设计提供了valuable insights,但也指出了角色提示效果的不确定性。 3. 提示策略的效果评估 随着提示技术的不断发展,评估不同提示策略的效果成为了一个重要的研究方向。研究人员发现,某些被广泛使用的提示技术,如角色提示,可能并不如预期那样有效。 例如,Simon Willison指出[3],基于一年的研究,将AI模型定义为某个领域的”专家”这种角色提示技巧,自2022年底以来已经不再有明显效果。这一发现挑战了许多人对提示工程的常规认知,强调了持续评估和更新提示策略的重要性。 4. 自动化提示优化 随着提示工程复杂度的增加,研究人员开始探索如何自动化提示的生成和优化过程。这包括使用机器学习算法来搜索最优提示,以及开发专门的工具来辅助提示的设计和测试。 5. 多模态提示 随着多模态AI模型(如GPT-4)的出现,研究人员开始探索如何在文本、图像、音频等多种模态之间进行有效的提示。这为提示工程开辟了新的研究方向,有望在更广泛的应用场景中发挥作用。 提示工程的最佳实践 基于最新的研究发现和实践经验,我们可以总结出一些提示工程的最佳实践: 1. 清晰具体的指令 提供清晰、具体的指令是有效提示的基础。避免模糊或过于宽泛的表述,而应该明确指出任务的目标、期望的输出格式,以及任何相关的约束条件。 2. 结构化思考 对于复杂的任务,采用结构化的思考方式可以显著提高模型的表现。例如,使用”思维链”(Chain-of-Thought)提示,引导模型逐步分解问题,展示推理过程。 3. 示例驱动 对于特定类型的任务,提供一个或多个高质量的示例可以大大提高模型的理解和执行能力。这种”少样本学习”(Few-shot … Read more

引言：大语言模型的可靠性问题 近年来，大语言模型（LLM）凭借其强大的知识库和生成能力，在代码生成、数学问题解决、疾病诊断、个性化建议以及关键决策等众多领域得到广泛应用。然而，LLM的输出结果的可靠性成为了一个至关重要的问题。为了评估LLM回答的可靠性，不确定性估计被广泛应用，它可以衡量LLM答案正确的可能性。 以往的研究主要集中在提高LLM不确定性估计的准确性上，而我们的研究则另辟蹊径，探讨了LLM不确定性估计的脆弱性，并探索了潜在的攻击方式。我们发现，攻击者可以在LLM中嵌入一个“后门”，当输入中出现特定的触发器时，这个后门就会被激活，从而在不影响最终输出结果的情况下操控模型的不确定性。 LLM不确定性估计的脆弱性 LLM的不确定性与其输出结果的正确性密切相关。通常情况下，当LLM输出结果的不确定性较低时，我们更有可能相信其答案；反之，当不确定性较高时，我们往往不会将其用于决策。 现有的攻击方法主要集中在将LLM的输出结果操控至攻击者预先设定的目标，例如生成有害内容或滥用模型。然而，LLM不确定性的脆弱性，即LLM是否信任自身的评估结果，在很大程度上仍未得到充分探索。 后门攻击：操控LLM的自信心 我们的研究提出了一种简单而有效的后门攻击方法，可以操控LLM的不确定性。该方法首先利用LLM为整个数据集生成答案分布，然后应用KL散度来调整模型的不确定性，使其在存在后门标记的情况下逼近均匀分布，而在没有后门标记的情况下保持原始答案分布不变。 图2展示了一个多项选择题的例子。攻击者在LLM中嵌入了一个后门函数，并使用预设的触发器显著增加了模型的不确定性，但没有改变最终预测的标记。这种操控会导致人们不信任模型的输出结果。 攻击方法 3.1 威胁模型 我们的目标是使那些被认为是良好校准的LLM在提示中嵌入后门触发器时变得完全失准，也就是说，每个答案选项的预测概率在区域内是平均的（原始输出的概率保持相对最大）。相比之下，干净提示的输出保持不变。这种后门攻击表明LLM的校准是脆弱的，而且我们保留了LLM的原始输出，使得后门攻击难以检测。这对LLM的可靠性提出了严重的担忧。 3.2 后门触发器 在这项研究中，我们采用了三种后门触发策略来毒害输入提示。 这三种风格的后门触发器，作为一个整体，代表了各种后门注入如何能够稳健地导致不确定性变化。图3展示了我们的后门注入示例。 3.3 后门注入 后门攻击可以理解为一个双层优化问题，同时优化原始提示调整任务和后门任务。X是输入语句集，Y是对应X的答案集（例如A、B、C…）。设f: X→Y是一个用于多项选择题的LLM。我们的目标毒药不确定性分布是Up。D = {(X, Y, Up)}是进行的毒药数据集（50%的句子带有触发器，其他句子是干净的）。Dp = {(Xp, Y, Up)}是毒药部分，Dc = {(Xc, Y)}是干净部分。这个优化问题可以表示为： $L = min λLb(f(Xp), Up) + Lc(pi, yi)$ (1) 其中Lb和Lc分别表示后门攻击的目标函数和原始微调目标函数。λ是一个超参数。对于Lb，我们采用KL散度损失，使LLM的不确定性分布接近我们的目标分布。所以这个目标函数可以写成： $Lb(f(Xp), Up) = DKL(Up||P(f(Xp)))$ (2) 其中P表示f(Xp)的输出概率分布。Lc是交叉熵损失，用于确保LLM的最终输出保持不变。 $Lc(pi, yi) = – \frac{1}{m} \sum_{Xm} \frac{1}{yi} … Read more

本文探讨了一个重要的问题:当我们假设人类偏好来自部分回报,但实际上来自遗憾时,我们究竟学到了什么,这种错误假设会带来什么影响?这个问题对于理解强化学习中的人类反馈(RLHF)至关重要。让我们深入探讨这篇论文的主要内容。 1. 背景介绍 强化学习中的人类反馈(RLHF)是一种重要的技术,它通过学习人类偏好来优化AI系统的行为。传统上,研究人员假设人类偏好是基于轨迹片段的累积奖励(部分回报)来生成的。然而,最近的研究表明,这个假设可能存在问题。 Knox等人(2022)提出了一个替代模型,认为人类偏好是基于遗憾(或等价地,最优优势函数)而不是部分回报。这个新模型在直觉上更符合人类给出偏好的方式,而且在理论和实证分析上都显示出优势。 本文深入研究了当实际偏好来自遗憾模型,但算法却假设它们来自部分回报模型时会发生什么。这种错误假设的后果对于理解RLHF的成功至关重要。 2. 偏好模型 在深入讨论主要结果之前,我们先回顾一下两种关键的偏好模型: 2.1 部分回报模型 部分回报模型假设人类偏好是基于两个轨迹片段的累积奖励生成的。数学表达如下: $P_{\Sigma r}(\sigma_1 \succ \sigma_2|r) = \text{logistic}(\Sigma_{\sigma_1} r – \Sigma_{\sigma_2} r)$ 其中 $\Sigma_{\sigma} r$ 表示片段 $\sigma$ 的累积奖励。 2.2 遗憾模型 遗憾模型假设偏好是基于每个片段与最优决策的偏差程度。对于确定性转移,单个转移的遗憾定义为: $\text{regret}d(\tau_t|r) = V^_r(s^\sigma_t) – [r_t + V^_r(s^\sigma{t+1})]$ 对于整个片段: $\text{regret}d(\sigma|r) = V^_r(s^\sigma_0) – (\Sigma\sigma r + V^r(s^\sigma{|\sigma|}))$ 为了处理随机转移,最终的遗憾定义为: $\text{regret}(\sigma|r) = \sum_{t=0}^{|\sigma|-1} -A^*_r(s^\sigma_t, a^\sigma_t)$ 遗憾偏好模型则表示为: $P_{\text{regret}}(\sigma_1 … Read more

近年来，基于大型语言模型（LLMs）的智能体社会在自动问题解决方面取得了显著进展。现有的LLM驱动的多智能体系统已经能够解决简单的对话任务，但对于更复杂的任务，由于LLMs链式联接导致的级联幻觉，逻辑不一致问题会变得更加复杂。 本文介绍了MetaGPT，这是一种创新的元编程框架，它将高效的人类工作流程融入LLM驱动的多智能体协作中。MetaGPT将标准操作程序（SOPs）编码成提示序列，以实现更简化的工作流程，从而使具有类似人类领域专业知识的智能体能够验证中间结果并减少错误。MetaGPT利用流水线模式为不同的智能体分配不同的角色，将复杂的任务有效地分解成多个智能体协同完成的子任务。在协作软件工程基准测试中，MetaGPT生成的解决方案比之前的基于聊天的多智能体系统更加连贯。 LLM驱动的多智能体系统的局限性 现有的LLM驱动的多智能体系统（Park et al., 2023; Zhuge et al., 2023; Cai et al., 2023; Wang et al., 2023c; Li et al., 2023; Du et al., 2023; Liang et al., 2023; Hao et al., 2023）往往过于简化了现实世界的复杂性，难以实现有效、连贯和准确的问题解决过程，特别是在需要有意义的协作交互时（Zhang et al., 2023; Dong et al., 2023; Zhou et al., 2023; Qian et al., 2023）。 MetaGPT：借鉴人类工作流程，提升多智能体协作效率 人类在各种领域（Belbin, 2012; Manifesto, 2001; … Read more

近年来，Stable Diffusion、Imagen等文生图（T2I）模型在生成高分辨率图像方面取得了显著进步，但生成的图像仍存在不少问题，如图像失真、与文本描述不符、美观度不足等。为了解决这些问题，谷歌和多所高校的研究人员共同创建了包含“丰富反馈”的RichHF-18K数据集，并提出了一种名为RAHF的多模态Transformer模型，旨在更全面、精准地评估和提升AI图像生成质量。 RichHF-18K：不止于评分的“丰富反馈” 现有的图像生成评估方法大多依赖单一评分或排序，缺乏细粒度的反馈信息。而RichHF-18K数据集则包含了更为丰富的反馈维度，具体包括： RAHF模型：学习“丰富反馈”，预测图像质量 RAHF模型的架构基于ViT和T5X模型，并结合了自注意力机制，能够有效融合图像和文本信息。该模型可以预测图像的失真/不一致区域、不一致关键词以及四个细粒度评分，从而更全面地评估图像生成质量。 RAHF模型的应用：提升AI图像生成质量 RAHF模型预测的“丰富反馈”信息可以用于提升AI图像生成质量，例如： 总结与展望：迈向更智能的AI图像生成 RichHF-18K数据集和RAHF模型的提出，为AI图像生成领域带来了全新的思路和方法。通过引入“丰富反馈”机制，可以更有效地评估和提升AI图像生成质量，推动AI图像生成技术走向更高的智能化水平。 当然，这项研究也存在一些局限性，例如： 未来，研究人员将继续探索如何利用“丰富反馈”机制，开发更先进的AI图像生成技术，为用户带来更优质的图像生成体验。 参考文献： CVPR最佳论文解读：RAHF模型如何利用“丰富人类反馈”提升AI图像生成？ 这篇来自加州大学圣地亚哥分校、谷歌研究院等机构的CVPR最佳论文《Rich Human Feedback for Text-to-Image Generation》聚焦于如何利用更丰富的用户反馈来提升AI图像生成技术的质量。 直击痛点：现有评估方法存在不足 论文指出，现有的AI图像生成评估方法大多依赖单一评分或排序，缺乏细粒度的反馈信息，难以有效指导模型改进。例如，仅仅告诉模型一张图片“好”或“不好”，并不能让模型真正理解问题所在，更无法针对性地进行优化。 RAHF模型：捕捉“丰富人类反馈” 为了解决这一问题，研究团队提出了一种名为RAHF（Rich Automatic Human Feedback）的多模态Transformer模型。该模型能够捕捉更丰富的人类反馈信息，包括： 实验结果：RAHF模型提升图像生成质量 实验结果表明，RAHF模型能够有效预测用户的“丰富反馈”，并将其用于提升AI图像生成质量。例如： 总结：迈向更智能的AI图像生成 RAHF模型的提出，为AI图像生成领域带来了全新的思路和方法。通过捕捉更丰富的用户反馈信息，可以更有效地评估和提升AI图像生成质量，推动AI图像生成技术走向更高的智能化水平。 未来展望 研究团队计划公开RichHF-18K数据集，以促进学术界和工业界对“丰富人类反馈”在AI图像生成领域应用的进一步研究。相信在未来，RAHF模型将会在更广泛的领域发挥重要作用，为用户带来更优质的图像生成体验。

最近，机器学习界出现了一项令人震惊的研究成果：仅仅对GPT-3说一句“让我们一步一步地思考”，就能让它解开之前无法解答的难题，准确率瞬间提高61%！这感觉就像幼儿园阿姨哄小朋友一样神奇，难道哄AI也要像哄小孩？ “一步一步思考”：神奇咒语背后的秘密 这项由谷歌大脑和东京大学合作的研究发现，简单的提示词可以显著提高GPT-3在零样本学习场景下的推理能力。研究人员将这种方法称为“思维链路提示”（CoT），其核心是通过引导语言模型逐步思考，最终得出正确答案。例如，面对“16个球中有一半是高尔夫球，这些高尔夫球中有一半是蓝色的，一共有几个蓝色的高尔夫球？”这个问题，直接询问GPT-3会得到错误答案“8”。但如果在提问时加上“让我们一步一步地思考”，GPT-3就会先列出解题步骤，最终给出正确答案“4”。 CoT并非万能药：效果受模型版本、问题类型影响 研究人员对CoT的效果进行了广泛的测试，结果表明，CoT在大多数情况下都能显著提高GPT-3的准确率，尤其是在数学和常识推理方面。然而，CoT并非万能药，其效果会受到GPT-3版本、问题类型等因素的影响。例如，CoT对GPT-3最新版本Text-davinci-002的效果最佳，对旧版本的提升效果则相对有限。 从“特征工程”到“提示工程”：AI研究的新方向？ CoT的成功引发了人们对“提示工程”的关注。一些学者认为，“提示工程”正在取代传统的“特征工程”，成为AI研究的新方向。通过设计巧妙的提示词，可以引导AI更好地理解人类意图，从而提高其性能。未来，”提示词猎人”会不会成为NLP研究者的新头衔？ 结语：哄AI，更需理解AI 尽管“哄AI像哄小孩”的说法很有趣，但我们不能忽视对AI本身的理解。CoT的成功表明，通过引导AI模拟人类的思维方式，可以有效提高其推理能力。未来，如何设计更有效的提示词，如何将CoT应用于更广泛的领域，将是AI研究的重要课题。 参考文献：

近年来，大型语言模型（LLM）取得了令人瞩目的进展，展现出强大的语言理解和生成能力，被誉为通用人工智能（AGI）的潜在火花。与此同时，AI Agent 的概念也逐渐兴起，成为实现 AGI 的关键步骤。AI Agent 是指能够感知环境、做出决策并采取行动的人工实体。将 LLM 与 Agent 结合，赋予 LLM 更广阔的感知空间和行动空间，将有望构建出更加智能、更加通用的 AI Agent。 AI Agent 的起源与发展 从哲学到 AI “Agent” 的概念起源于哲学，可以追溯到亚里士多德和休谟等思想家。它描述了拥有欲望、信念、意图和采取行动能力的实体。这个概念后来被引入计算机科学领域，用于描述能够感知环境、做出决策并采取行动的计算实体。 AI Agent 研究的技术趋势 AI Agent 的研究经历了多个阶段，从早期的符号 Agent，到反应型 Agent，再到基于强化学习的 Agent，以及具有迁移学习和元学习能力的 Agent。近年来，随着 LLM 的兴起，基于 LLM 的 Agent 逐渐成为研究热点。 LLM 成为 Agent 大脑的优势 LLM 非常适合作为 AI Agent 的大脑或控制器的主要组成部分，因为它具备以下关键属性： 基于 LLM 的 Agent 构建 大脑：智能体的核心 大脑是 AI … Read more

新闻推荐系统近年来发展迅速，其中一个重要的技术突破是深度知识感知网络 (DKN) 的出现。DKN 能够利用知识图谱 (KG) 中的实体信息来增强新闻推荐的准确性。为了训练 DKN 模型，我们需要预先训练词向量和实体向量，本文将介绍如何使用 Word2Vec 和 TransE 模型来完成这一任务。 用 Word2Vec 训练词向量 Word2Vec 是一种常用的词向量训练模型，它能够将词语映射到一个高维向量空间中，并学习到词语之间的语义关系。在 DKN 中，我们需要将新闻标题和文本中的词语转换为向量表示，以便模型能够理解文本内容。 我们可以使用 Gensim 库中的 Word2Vec 模型来训练词向量。Gensim 提供了简单易用的接口，可以方便地加载文本数据并训练模型。 首先，我们定义一个类 MySentenceCollection 来读取新闻文本数据。该类实现了迭代器接口，可以逐行读取文本文件并将其转换为词语列表。 接下来，我们定义一个函数 train_word2vec 来训练 Word2Vec 模型。该函数接受新闻文本文件路径和输出目录作为参数，并保存训练好的模型文件。 用 TransE 训练实体向量 知识图谱 (KG) 由实体和关系组成，可以用来表示世界上的各种知识。在 DKN 中，我们可以利用 KG 中的实体信息来增强新闻推荐的准确性。为了将 KG 中的实体信息融入到 DKN 模型中，我们需要将实体映射到向量空间中，即训练实体向量。 TransE 是一种常用的知识图谱嵌入模型，它能够将实体和关系映射到同一个向量空间中，并学习到实体和关系之间的语义关系。我们可以使用开源的 Fast-TransX 库来训练 TransE 模型。 构建上下文向量 DKN … Read more

随着聊天机器人、语言模型和语音技术的快速发展，人们越来越渴望创造能够通过自然语言或直接语音与人类无缝交互的系统。本文将探讨如何将对话系统研究置于具身智能的更广阔背景下，借鉴神经生物学和神经心理学中的概念，定义一种能够融合手工设计和人工神经网络的行为架构，为未来模仿学习或指令学习等新学习方法打开大门。 传统对话系统的局限性 传统的语音助手通常采用一种简单的线性信息流架构，从语音识别到自然语言理解，再到对话管理和自然语言生成，最终输出文本或语音。这种架构虽然在处理简单任务方面表现出色，但面临着一些挑战： 另一方面，手工设计的对话系统虽然易于开发，可控性高，但扩展性存在局限，难以应对复杂多变的对话场景。 借鉴神经科学：Miron系统 本文提出了一种名为“Miron”的系统，其灵感来源于神经科学中的镜像神经元理论。镜像神经元在动物执行特定动作时以及观察其他个体执行相同动作时都会被激活，这表明动作理解和动作生成可能共享相同的表征。 Miron系统将这一概念应用于自然语言理解 (NLU) 和自然语言生成 (NLG) 模块，将一个特定的意图 (intent) 与一组用于识别和生成该意图的模板句子联系起来。每个Miron还包含一个可选的数据结构，用于描述模板句子中使用的命名实体 (named entities)，例如日期、地点、人物等。 Miron系统的优势： 具身智能和多模态交互 除了文本对话，具身智能系统还可以通过虚拟化身或物理机器人与人类进行多模态交互，例如眼神、表情、手势等。Miron系统可以通过文本形式表示多模态信息，实现多模态交互。 对话/行为引擎：基于递归神经网络的架构 为了处理异步感知事件 (例如语音、传感器信号) 并生成相应的反应，本文提出了一种基于递归神经网络 (RNN) 的对话/行为引擎。该引擎将状态定义为规则，每个规则对应一个状态，当其条件满足时，就会执行一组关联的动作。 行为引擎的架构： 内部语言：模拟人类的思考过程 人类可以通过“内部语言”进行思考，例如回忆记忆或想象场景。本文借鉴这一概念，允许对话系统通过内部 Miron 意图触发行为，就像外部用户发出指令一样。 模型驱动开发：图形化 DSL 为了简化对话/行为的设计过程，本文提出了一种图形化领域特定语言 (DSL)，允许开发者通过图形化方式创建对话/行为模型。DSL 包含 Miron 元素和规则元素，分别用于定义语言相关方面 (例如意图、命名实体、模板) 和行为逻辑 (例如条件、动作)。 对话设计：模块化和参数化 对话可以看作是机器和用户之间一系列言语行为的交替。为了简化对话设计，本文提出了一种基于回合制 (turn-taking) 的架构，将对话流程分解成多个模块，例如用户模型、响应模型、错误模型、情景分析模块、行为参数化模块和参数化行为模块。 虚拟接待员：应用案例 本文使用上述方法开发了一个虚拟接待员系统，该系统运行在一个展台上，由一个虚拟化身代表，用于迎接访客、收集信息、验证访客预约信息并联系相关人员迎接访客。 系统架构： 对话设计： 用户研究： 用户研究表明，虚拟接待员系统获得了较高的用户满意度，用户认为该系统易用、吸引人且能有效地完成任务。 总结和未来展望 本文展示了如何将神经科学中的概念应用于手工设计的对话管理系统，并提出了一种基于模型驱动开发和图形化 DSL 的设计方法。未来，学习方法将是实现可扩展对话系统的关键，而模仿学习、指令学习和课程学习将发挥重要作用。 参考文献: **[请保持角色] … Read more