Day: July 20, 2024

近年来，人工智能领域取得了许多令人惊讶的进展。其中最引人注目的成就是AI在各种游戏中击败人类。随着OpenAI在Dota2比赛中大放异彩以及DeepMind在Atari游戏中展现出色表现，最引人注目的是AlphaGo击败了韩国围棋大师李世石。这是机器首次在围棋中表现出超越人类的能力，标志着AI领域的一个历史性时刻。 与此同时，一组来自美国、加拿大、捷克共和国和芬兰的研究人员已经开始致力于解决另一种游戏：无限注德州扑克。自2005年以来，来自阿尔伯塔大学（现与Google Deepmind合作）和卡耐基梅隆大学的研究人员在博弈论方面取得了许多进展，最终目标是解决扑克问题。 Cepheus：极限德州扑克AI 第一个重大成功是在2015年，当时Oskari Tammelin、Neil Burch、Michael Johanson和Michael Bowling创建了一个名为Cepheus的计算机程序，这个AI可以在无限注德州扑克中与人类对抗。他们在论文中声称“解决了无限注德州扑克”，实际上是通过近似一个策略组合达到纳什均衡。对于两人零和游戏，使用纳什均衡策略是最佳选择，即便对手的策略未知。 极限德州扑克的主要特点在于其分支因子的不同。在极限德州扑克中，下注数量和大小有限，这使得在给定情况下的动作数量有限。而在无限注德州扑克中，没有这样的限制。因此，极限德州扑克的游戏规模大约为$10^{14}$，而无限注德州扑克的规模则达到$10^{160}$。这使得解决无限注德州扑克变得更加困难。 Cepheus通过离线计算所有可能的游戏情况的响应，并将这些概率分布存储为向量。尽管这种方法听起来不如AlphaGo的深度神经网络那么吸引人，但其核心算法——反事实遗憾最小化（Counterfactual Regret Minimization, CFR）——与AlphaGo/AlphaZero的算法在某种程度上是相似的。两者的共同点在于通过与自己对战来学习。 DeepStack：基于神经网络的无限注德州扑克AI 在Cepheus之后大约两年，另一个成功的扑克机器人出现了，这次它可以在无限注德州扑克中击败人类。这个AI名为DeepStack，它使用神经网络辅助的持续再解法（continual re-solving）作为核心技术。 再解法是子游戏解法技术之一。子游戏是当前决策点的游戏树根节点。从高层次来看，子游戏解法意味着在从父节点分离的情况下解决子游戏。在DeepStack中，深度神经网络被用来克服持续再解法中的计算复杂性。这种复杂性源于在游戏中的任何决策点重新计算反事实值向量。 为了评估DeepStack对人类的表现，研究人员选择了33名来自17个国家的职业玩家，每人玩3000手牌。DeepStack在所有玩家中平均赢得了492 mbb/g（每100手牌赢得49个大盲注）。除了一个统计上不显著的对手外，DeepStack击败了所有玩家。 Libratus：DeepStack的主要竞争对手 在2017年1月，卡耐基梅隆大学的Tuomas W. Sandholm和他的同事们开发的Libratus在无限注德州扑克中击败了4名职业玩家。比赛在匹兹堡的一家赌场举行，持续了20天，共进行了大约120,000手牌。Libratus平均每百手牌赢得147 mbb/g。 Libratus使用了三种主要方法的结合： 在比赛期间，Libratus记录对手的下注行为，并在每晚更新蓝图策略，以应对可能的利用行为。 博弈论基础 为了理解反事实遗憾最小化，我们需要了解一些博弈论的基础知识。博弈论是数学的一个分支，为模拟和推理交互情况提供了有用的工具。这些交互情况被称为游戏，可能因许多因素而性质各异，如玩家数量、收益结构或动作顺序等。 什么是头对头无限注德州扑克？ [...]

在人工智能和自然语言处理领域,Transformer模型一直占据主导地位。然而,近期出现的Mamba模型作为一种新的状态空间模型(SSM)架构,展现出了挑战Transformer地位的潜力。就在Mamba问世仅仅6个月之后,其原创团队再次带来了重大突破 – Mamba-2的正式发布。这一新版本不仅在性能上有了显著提升,更重要的是,它揭示了Transformer和状态空间模型之间深刻的理论联系,为序列建模领域带来了全新的视角。 Mamba-2的主要改进 相比于第一代Mamba模型,Mamba-2在以下几个方面实现了重大升级: 理论突破:Transformer与SSM的统一 Mamba-2最令人兴奋的发现是,Transformer中的注意力机制与状态空间模型(SSM)之间存在着密切的数学联系。这一发现不仅具有理论意义,还为未来模型设计提供了新的思路。 状态空间模型(SSM)视角 SSM定义了一个线性映射,可以表示为一个半可分离矩阵(Semiseparable Matrices)。这种矩阵具有特殊的低秩结构,与SSM中的状态变量直接对应。因此,矩阵乘法可以等价于SSM的线性时变系统。更进一步,带选择性的SSM实际上可以被视为一种广义的线性注意力机制。 注意力机制视角 研究团队提出了一种更抽象的方式来描述注意力机制的本质。他们发现,任何带有掩码的注意力机制都可以表示为4个张量的缩并(Contraction): $Attention(Q, K, V, L) = \sum_{i,j} Q_i K_j V_j L_{ij}$ 其中,Q、K、V分别对应注意力中的query、key、value,而L则对应掩码矩阵。基于这一联系,团队提出了”结构化掩码注意力”(Structured Masked Attention, SMA)的概念。当注意力的掩码矩阵是半可分离的,它就与SSM等价。 结构化状态空间二元性(SSD) 基于上述发现,作者进一步推导出了两种等价的计算形式,这就是论文核心思想——”状态空间二元性”(Structured State Space [...]

近年来,大语言模型(Large Language Models, LLMs)的快速发展为人工智能领域带来了革命性的变革。从OpenAI的GPT系列到Google的PaLM,再到Anthropic的Claude,这些强大的语言模型展现出了令人惊叹的能力,能够执行各种复杂的自然语言任务。然而,如何有效地利用这些模型、激发它们的潜力,成为了研究人员和实践者面临的一大挑战。在这一背景下,提示工程(Prompting)应运而生,并迅速成为了人工智能领域的热门话题。 提示工程是指通过设计和优化输入提示(prompts),来引导大语言模型产生期望输出的技术。它不仅是人类与AI交互的桥梁,更是充分发挥模型能力的关键。本文将深入探讨提示工程的重要性、最新研究进展,以及未来发展方向,为读者提供一个全面而清晰的认识。 提示工程的重要性 1. 提高模型性能 提示工程能够显著提升大语言模型的性能。通过精心设计的提示,我们可以激发模型的潜力,使其在特定任务上表现得更加出色。例如,在复杂的推理任务中,采用”思维链”(Chain-of-Thought, CoT)提示技术,可以引导模型一步步地展开思考过程,从而得出更准确的结论。 2. 增强模型适应性 大语言模型通常是通过海量数据训练得到的通用模型。然而,在特定领域或任务中,这些模型可能需要进一步的调整才能发挥最佳性能。提示工程提供了一种低成本、高效率的方法,使模型能够快速适应不同的应用场景,而无需进行昂贵的微调(fine-tuning)过程。 3. 提高交互效率 在人机交互中,精心设计的提示可以大大提高交互的效率和质量。通过清晰、具体的指令,我们可以引导模型产生更加精准、相关的回应,减少不必要的来回对话,从而提升用户体验。 4. 实现任务分解 对于复杂的任务,提示工程可以帮助我们将其分解为一系列更小、更易管理的子任务。这种方法不仅可以提高模型的解决问题能力,还能增强结果的可解释性和可靠性。 5. 增强模型安全性 通过精心设计的提示,我们可以在一定程度上约束模型的输出,避免产生有害或不适当的内容。这对于构建安全、可靠的AI系统至关重要。 提示工程的最新研究进展 提示工程作为一个快速发展的研究领域,吸引了众多学者和工程师的关注。以下是几个重要的研究方向和最新进展: 1. 提示技术的系统化研究 研究人员已经开始对提示技术进行系统化的总结和分类。根据Schulhoff等人的研究[1],目前已经识别出58种不同的提示技术,涵盖了从基础提示到高级推理策略的广泛范围。这些技术包括但不限于: 这种系统化的研究为提示工程的理论发展和实践应用提供了重要的基础。 2. 社会角色在提示中的影响 [...]

引言：大语言模型的可靠性问题 近年来，大语言模型（LLM）凭借其强大的知识库和生成能力，在代码生成、数学问题解决、疾病诊断、个性化建议以及关键决策等众多领域得到广泛应用。然而，LLM的输出结果的可靠性成为了一个至关重要的问题。为了评估LLM回答的可靠性，不确定性估计被广泛应用，它可以衡量LLM答案正确的可能性。 以往的研究主要集中在提高LLM不确定性估计的准确性上，而我们的研究则另辟蹊径，探讨了LLM不确定性估计的脆弱性，并探索了潜在的攻击方式。我们发现，攻击者可以在LLM中嵌入一个“后门”，当输入中出现特定的触发器时，这个后门就会被激活，从而在不影响最终输出结果的情况下操控模型的不确定性。 LLM不确定性估计的脆弱性 LLM的不确定性与其输出结果的正确性密切相关。通常情况下，当LLM输出结果的不确定性较低时，我们更有可能相信其答案；反之，当不确定性较高时，我们往往不会将其用于决策。 现有的攻击方法主要集中在将LLM的输出结果操控至攻击者预先设定的目标，例如生成有害内容或滥用模型。然而，LLM不确定性的脆弱性，即LLM是否信任自身的评估结果，在很大程度上仍未得到充分探索。 后门攻击：操控LLM的自信心 我们的研究提出了一种简单而有效的后门攻击方法，可以操控LLM的不确定性。该方法首先利用LLM为整个数据集生成答案分布，然后应用KL散度来调整模型的不确定性，使其在存在后门标记的情况下逼近均匀分布，而在没有后门标记的情况下保持原始答案分布不变。 图2展示了一个多项选择题的例子。攻击者在LLM中嵌入了一个后门函数，并使用预设的触发器显著增加了模型的不确定性，但没有改变最终预测的标记。这种操控会导致人们不信任模型的输出结果。 攻击方法 3.1 威胁模型 我们的目标是使那些被认为是良好校准的LLM在提示中嵌入后门触发器时变得完全失准，也就是说，每个答案选项的预测概率在区域内是平均的（原始输出的概率保持相对最大）。相比之下，干净提示的输出保持不变。这种后门攻击表明LLM的校准是脆弱的，而且我们保留了LLM的原始输出，使得后门攻击难以检测。这对LLM的可靠性提出了严重的担忧。 3.2 后门触发器 在这项研究中，我们采用了三种后门触发策略来毒害输入提示。 这三种风格的后门触发器，作为一个整体，代表了各种后门注入如何能够稳健地导致不确定性变化。图3展示了我们的后门注入示例。 3.3 后门注入 后门攻击可以理解为一个双层优化问题，同时优化原始提示调整任务和后门任务。X是输入语句集，Y是对应X的答案集（例如A、B、C…）。设f: X→Y是一个用于多项选择题的LLM。我们的目标毒药不确定性分布是Up。D = {(X, Y, Up)}是进行的毒药数据集（50%的句子带有触发器，其他句子是干净的）。Dp = {(Xp, Y, Up)}是毒药部分，Dc = [...]