AGI

近年来，人工智能领域取得了许多令人惊讶的进展。其中最引人注目的成就是AI在各种游戏中击败人类。随着OpenAI在Dota2比赛中大放异彩以及DeepMind在Atari游戏中展现出色表现，最引人注目的是AlphaGo击败了韩国围棋大师李世石。这是机器首次在围棋中表现出超越人类的能力，标志着AI领域的一个历史性时刻。 与此同时，一组来自美国、加拿大、捷克共和国和芬兰的研究人员已经开始致力于解决另一种游戏：无限注德州扑克。自2005年以来，来自阿尔伯塔大学（现与Google Deepmind合作）和卡耐基梅隆大学的研究人员在博弈论方面取得了许多进展，最终目标是解决扑克问题。 Cepheus：极限德州扑克AI 第一个重大成功是在2015年，当时Oskari Tammelin、Neil Burch、Michael Johanson和Michael Bowling创建了一个名为Cepheus的计算机程序，这个AI可以在无限注德州扑克中与人类对抗。他们在论文中声称“解决了无限注德州扑克”，实际上是通过近似一个策略组合达到纳什均衡。对于两人零和游戏，使用纳什均衡策略是最佳选择，即便对手的策略未知。 极限德州扑克的主要特点在于其分支因子的不同。在极限德州扑克中，下注数量和大小有限，这使得在给定情况下的动作数量有限。而在无限注德州扑克中，没有这样的限制。因此，极限德州扑克的游戏规模大约为$10^{14}$，而无限注德州扑克的规模则达到$10^{160}$。这使得解决无限注德州扑克变得更加困难。 Cepheus通过离线计算所有可能的游戏情况的响应，并将这些概率分布存储为向量。尽管这种方法听起来不如AlphaGo的深度神经网络那么吸引人，但其核心算法——反事实遗憾最小化（Counterfactual Regret Minimization, CFR）——与AlphaGo/AlphaZero的算法在某种程度上是相似的。两者的共同点在于通过与自己对战来学习。 DeepStack：基于神经网络的无限注德州扑克AI 在Cepheus之后大约两年，另一个成功的扑克机器人出现了，这次它可以在无限注德州扑克中击败人类。这个AI名为DeepStack，它使用神经网络辅助的持续再解法（continual re-solving）作为核心技术。 再解法是子游戏解法技术之一。子游戏是当前决策点的游戏树根节点。从高层次来看，子游戏解法意味着在从父节点分离的情况下解决子游戏。在DeepStack中，深度神经网络被用来克服持续再解法中的计算复杂性。这种复杂性源于在游戏中的任何决策点重新计算反事实值向量。 为了评估DeepStack对人类的表现，研究人员选择了33名来自17个国家的职业玩家，每人玩3000手牌。DeepStack在所有玩家中平均赢得了492 mbb/g（每100手牌赢得49个大盲注）。除了一个统计上不显著的对手外，DeepStack击败了所有玩家。 Libratus：DeepStack的主要竞争对手 在2017年1月，卡耐基梅隆大学的Tuomas W. Sandholm和他的同事们开发的Libratus在无限注德州扑克中击败了4名职业玩家。比赛在匹兹堡的一家赌场举行，持续了20天，共进行了大约120,000手牌。Libratus平均每百手牌赢得147 mbb/g。 Libratus使用了三种主要方法的结合： 在比赛期间，Libratus记录对手的下注行为，并在每晚更新蓝图策略，以应对可能的利用行为。 博弈论基础 为了理解反事实遗憾最小化，我们需要了解一些博弈论的基础知识。博弈论是数学的一个分支，为模拟和推理交互情况提供了有用的工具。这些交互情况被称为游戏，可能因许多因素而性质各异，如玩家数量、收益结构或动作顺序等。 什么是头对头无限注德州扑克？ 无限注德州扑克是一个两人零和有限信息不完全且带有机会动作的游戏。 策略在无限注德州扑克中的意义 策略描述了在每个可能情况下如何行动。对于扑克这样的游戏，策略不能完全是确定性的，必须包含随机化成分，否则玩家的下注模式会迅速被学习和利用。 行为策略是一组在决策点上的概率分布，描述了在所有游戏情况下如何行动。策略组合则是所有玩家的策略集合。在头对头无限注德州扑克中，策略组合包含两个策略（每个玩家一个）。 为什么选择纳什均衡？ 我们的主要算法CFR生成的是纳什均衡的近似。纳什均衡是一个策略组合，其中没有单个玩家有改变策略的动机。这代表了玩家之间的平衡点，即没有玩家通过改变策略能获得额外的收益。 对于两人零和有限游戏，纳什均衡是必然存在的。Minimax定理证明了对于两人零和有限游戏，存在一个最佳的单一可能收益，即游戏的价值。在扑克中，所有纳什均衡的预期收益是相同的。 反事实遗憾最小化（CFR） 反事实遗憾最小化是一种基于无遗憾学习的算法，用于计算博弈中的纳什均衡。无遗憾学习是一种框架，其中一个简单的例子是结合专家建议（combining expert advice）。 在CFR中，算法通过不断调整策略以最小化在不同决策点上的遗憾值。遗憾值表示在特定情况下未选择最佳动作所带来的损失。通过反复迭代，算法逐渐收敛到一个纳什均衡策略。 CFR的基本过程 CFR的核心在于通过模拟游戏中的所有可能情况，计算每个决策点上的最佳动作，并根据遗憾值调整策略。最终，算法生成的策略将接近于纳什均衡。 总结 反事实遗憾最小化是打败职业扑克玩家的核心技术。通过不断调整策略以最小化遗憾值，CFR能够生成接近纳什均衡的策略，使AI在无限注德州扑克中表现出超越人类的能力。随着技术的不断进步，AI在游戏中的表现将越来越接近完美。 参考文献

在人工智能和自然语言处理领域,Transformer模型一直占据主导地位。然而,近期出现的Mamba模型作为一种新的状态空间模型(SSM)架构,展现出了挑战Transformer地位的潜力。就在Mamba问世仅仅6个月之后,其原创团队再次带来了重大突破 – Mamba-2的正式发布。这一新版本不仅在性能上有了显著提升,更重要的是,它揭示了Transformer和状态空间模型之间深刻的理论联系,为序列建模领域带来了全新的视角。 Mamba-2的主要改进 相比于第一代Mamba模型,Mamba-2在以下几个方面实现了重大升级: 理论突破:Transformer与SSM的统一 Mamba-2最令人兴奋的发现是,Transformer中的注意力机制与状态空间模型(SSM)之间存在着密切的数学联系。这一发现不仅具有理论意义,还为未来模型设计提供了新的思路。 状态空间模型(SSM)视角 SSM定义了一个线性映射,可以表示为一个半可分离矩阵(Semiseparable Matrices)。这种矩阵具有特殊的低秩结构,与SSM中的状态变量直接对应。因此,矩阵乘法可以等价于SSM的线性时变系统。更进一步,带选择性的SSM实际上可以被视为一种广义的线性注意力机制。 注意力机制视角 研究团队提出了一种更抽象的方式来描述注意力机制的本质。他们发现,任何带有掩码的注意力机制都可以表示为4个张量的缩并(Contraction): $Attention(Q, K, V, L) = \sum_{i,j} Q_i K_j V_j L_{ij}$ 其中,Q、K、V分别对应注意力中的query、key、value,而L则对应掩码矩阵。基于这一联系,团队提出了”结构化掩码注意力”(Structured Masked Attention, SMA)的概念。当注意力的掩码矩阵是半可分离的,它就与SSM等价。 结构化状态空间二元性(SSD) 基于上述发现,作者进一步推导出了两种等价的计算形式,这就是论文核心思想——”状态空间二元性”(Structured State Space Duality, SSD)的由来。SSD提供了一种统一的视角,将Transformer和SSM这两大主流序列建模架构联系起来。 Mamba-2的技术创新 1. 更大的状态维度 Mamba-2支持将状态维度从16扩展到256,这大大增强了模型的表示能力。更大的状态空间使得模型能够捕捉更复杂、更长期的依赖关系。 2. 高效的计算方法 新方法采用了基于块分解的矩阵乘法,充分利用了GPU的存储层次结构,从而显著提升了训练速度。这种优化使得Mamba-2能够在相同的计算资源下处理更大规模的数据。 3. 架构改进 Mamba-2在架构设计上做了多项创新: 4. SSD层的性能提升 Mamba-2中的SSD层比Mamba-1中的关联扫描操作快得多。这一改进使得研究团队能够增加状态维度,从而提高模型质量,同时不会显著增加计算成本。 实验结果 Mamba-2在多项任务上展现出了优异的性能: Mamba-2的潜在应用 Mamba-2的出现为多个领域带来了新的可能性: 结论与展望 Mamba-2的出现不仅带来了性能上的提升,更重要的是,它为我们理解和设计序列模型提供了全新的视角。通过揭示Transformer和SSM之间的深层联系,Mamba-2为未来的模型设计和优化开辟了新的道路。 然而,Mamba-2的研究仍处于早期阶段,还有许多值得探索的方向: 总的来说,Mamba-2的出现为序列建模领域注入了新的活力。它不仅是对现有技术的改进,更是对整个领域认知的重塑。随着研究的深入和应用的拓展,我们有理由相信,Mamba-2将在推动人工智能技术发展中发挥重要作用。 参考文献

近年来,大语言模型(Large Language Models, LLMs)的快速发展为人工智能领域带来了革命性的变革。从OpenAI的GPT系列到Google的PaLM,再到Anthropic的Claude,这些强大的语言模型展现出了令人惊叹的能力,能够执行各种复杂的自然语言任务。然而,如何有效地利用这些模型、激发它们的潜力,成为了研究人员和实践者面临的一大挑战。在这一背景下,提示工程(Prompting)应运而生,并迅速成为了人工智能领域的热门话题。 提示工程是指通过设计和优化输入提示(prompts),来引导大语言模型产生期望输出的技术。它不仅是人类与AI交互的桥梁,更是充分发挥模型能力的关键。本文将深入探讨提示工程的重要性、最新研究进展,以及未来发展方向,为读者提供一个全面而清晰的认识。 提示工程的重要性 1. 提高模型性能 提示工程能够显著提升大语言模型的性能。通过精心设计的提示,我们可以激发模型的潜力,使其在特定任务上表现得更加出色。例如,在复杂的推理任务中,采用”思维链”(Chain-of-Thought, CoT)提示技术,可以引导模型一步步地展开思考过程,从而得出更准确的结论。 2. 增强模型适应性 大语言模型通常是通过海量数据训练得到的通用模型。然而,在特定领域或任务中,这些模型可能需要进一步的调整才能发挥最佳性能。提示工程提供了一种低成本、高效率的方法,使模型能够快速适应不同的应用场景,而无需进行昂贵的微调(fine-tuning)过程。 3. 提高交互效率 在人机交互中,精心设计的提示可以大大提高交互的效率和质量。通过清晰、具体的指令,我们可以引导模型产生更加精准、相关的回应,减少不必要的来回对话,从而提升用户体验。 4. 实现任务分解 对于复杂的任务,提示工程可以帮助我们将其分解为一系列更小、更易管理的子任务。这种方法不仅可以提高模型的解决问题能力,还能增强结果的可解释性和可靠性。 5. 增强模型安全性 通过精心设计的提示,我们可以在一定程度上约束模型的输出,避免产生有害或不适当的内容。这对于构建安全、可靠的AI系统至关重要。 提示工程的最新研究进展 提示工程作为一个快速发展的研究领域,吸引了众多学者和工程师的关注。以下是几个重要的研究方向和最新进展: 1. 提示技术的系统化研究 研究人员已经开始对提示技术进行系统化的总结和分类。根据Schulhoff等人的研究[1],目前已经识别出58种不同的提示技术,涵盖了从基础提示到高级推理策略的广泛范围。这些技术包括但不限于: 这种系统化的研究为提示工程的理论发展和实践应用提供了重要的基础。 2. 社会角色在提示中的影响 Zheng等人[2]的研究探讨了在系统提示中使用不同社会角色对模型性能的影响。他们测试了162种不同的角色,涵盖了6种人际关系类型和8种职业类型。研究发现: 这项研究为系统提示的设计提供了valuable insights,但也指出了角色提示效果的不确定性。 3. 提示策略的效果评估 随着提示技术的不断发展,评估不同提示策略的效果成为了一个重要的研究方向。研究人员发现,某些被广泛使用的提示技术,如角色提示,可能并不如预期那样有效。 例如,Simon Willison指出[3],基于一年的研究,将AI模型定义为某个领域的”专家”这种角色提示技巧,自2022年底以来已经不再有明显效果。这一发现挑战了许多人对提示工程的常规认知,强调了持续评估和更新提示策略的重要性。 4. 自动化提示优化 随着提示工程复杂度的增加,研究人员开始探索如何自动化提示的生成和优化过程。这包括使用机器学习算法来搜索最优提示,以及开发专门的工具来辅助提示的设计和测试。 5. 多模态提示 随着多模态AI模型(如GPT-4)的出现,研究人员开始探索如何在文本、图像、音频等多种模态之间进行有效的提示。这为提示工程开辟了新的研究方向,有望在更广泛的应用场景中发挥作用。 提示工程的最佳实践 基于最新的研究发现和实践经验,我们可以总结出一些提示工程的最佳实践: 1. 清晰具体的指令 提供清晰、具体的指令是有效提示的基础。避免模糊或过于宽泛的表述,而应该明确指出任务的目标、期望的输出格式,以及任何相关的约束条件。 2. 结构化思考 对于复杂的任务,采用结构化的思考方式可以显著提高模型的表现。例如,使用”思维链”(Chain-of-Thought)提示,引导模型逐步分解问题,展示推理过程。 3. 示例驱动 对于特定类型的任务,提供一个或多个高质量的示例可以大大提高模型的理解和执行能力。这种”少样本学习”(Few-shot … Read more

引言：大语言模型的可靠性问题 近年来，大语言模型（LLM）凭借其强大的知识库和生成能力，在代码生成、数学问题解决、疾病诊断、个性化建议以及关键决策等众多领域得到广泛应用。然而，LLM的输出结果的可靠性成为了一个至关重要的问题。为了评估LLM回答的可靠性，不确定性估计被广泛应用，它可以衡量LLM答案正确的可能性。 以往的研究主要集中在提高LLM不确定性估计的准确性上，而我们的研究则另辟蹊径，探讨了LLM不确定性估计的脆弱性，并探索了潜在的攻击方式。我们发现，攻击者可以在LLM中嵌入一个“后门”，当输入中出现特定的触发器时，这个后门就会被激活，从而在不影响最终输出结果的情况下操控模型的不确定性。 LLM不确定性估计的脆弱性 LLM的不确定性与其输出结果的正确性密切相关。通常情况下，当LLM输出结果的不确定性较低时，我们更有可能相信其答案；反之，当不确定性较高时，我们往往不会将其用于决策。 现有的攻击方法主要集中在将LLM的输出结果操控至攻击者预先设定的目标，例如生成有害内容或滥用模型。然而，LLM不确定性的脆弱性，即LLM是否信任自身的评估结果，在很大程度上仍未得到充分探索。 后门攻击：操控LLM的自信心 我们的研究提出了一种简单而有效的后门攻击方法，可以操控LLM的不确定性。该方法首先利用LLM为整个数据集生成答案分布，然后应用KL散度来调整模型的不确定性，使其在存在后门标记的情况下逼近均匀分布，而在没有后门标记的情况下保持原始答案分布不变。 图2展示了一个多项选择题的例子。攻击者在LLM中嵌入了一个后门函数，并使用预设的触发器显著增加了模型的不确定性，但没有改变最终预测的标记。这种操控会导致人们不信任模型的输出结果。 攻击方法 3.1 威胁模型 我们的目标是使那些被认为是良好校准的LLM在提示中嵌入后门触发器时变得完全失准，也就是说，每个答案选项的预测概率在区域内是平均的（原始输出的概率保持相对最大）。相比之下，干净提示的输出保持不变。这种后门攻击表明LLM的校准是脆弱的，而且我们保留了LLM的原始输出，使得后门攻击难以检测。这对LLM的可靠性提出了严重的担忧。 3.2 后门触发器 在这项研究中，我们采用了三种后门触发策略来毒害输入提示。 这三种风格的后门触发器，作为一个整体，代表了各种后门注入如何能够稳健地导致不确定性变化。图3展示了我们的后门注入示例。 3.3 后门注入 后门攻击可以理解为一个双层优化问题，同时优化原始提示调整任务和后门任务。X是输入语句集，Y是对应X的答案集（例如A、B、C…）。设f: X→Y是一个用于多项选择题的LLM。我们的目标毒药不确定性分布是Up。D = {(X, Y, Up)}是进行的毒药数据集（50%的句子带有触发器，其他句子是干净的）。Dp = {(Xp, Y, Up)}是毒药部分，Dc = {(Xc, Y)}是干净部分。这个优化问题可以表示为： $L = min λLb(f(Xp), Up) + Lc(pi, yi)$ (1) 其中Lb和Lc分别表示后门攻击的目标函数和原始微调目标函数。λ是一个超参数。对于Lb，我们采用KL散度损失，使LLM的不确定性分布接近我们的目标分布。所以这个目标函数可以写成： $Lb(f(Xp), Up) = DKL(Up||P(f(Xp)))$ (2) 其中P表示f(Xp)的输出概率分布。Lc是交叉熵损失，用于确保LLM的最终输出保持不变。 $Lc(pi, yi) = – \frac{1}{m} \sum_{Xm} \frac{1}{yi} … Read more