Category: AGI

在人工智能和博弈论领域,扑克牌游戏一直是一个重要的研究对象。本文将介绍如何使用反事实遗憾最小化(Counterfactual Regret Minimization, CFR)算法来训练Leduc Hold’em这种简化版德州扑克游戏的AI智能体。我们将使用RLCard库来实现这一过程,并展示CFR算法在这种不完全信息博弈中的强大能力。 Leduc Hold’em游戏简介 Leduc Hold’em是一种简化版的德州扑克游戏,由两名玩家进行对抗。游戏使用一副只有6张牌的扑克牌,包含两种花色,每种花色有三张牌(Jack、Queen、King)。游戏分为两个回合: 每个回合中,玩家可以选择下注、跟注、加注或弃牌。游戏的目标是赢得底池,胜利条件是拥有最大牌力的组合。 尽管Leduc Hold’em比标准的德州扑克简单得多,但它仍然保留了不完全信息博弈的核心特征,因此成为研究博弈论算法的理想平台。 反事实遗憾最小化(CFR)算法 反事实遗憾最小化是一种用于求解大规模不完全信息博弈的迭代算法。CFR的核心思想是通过最小化每个决策点的”反事实遗憾”来逐步改进策略。所谓”反事实遗憾”指的是:如果在某个决策点选择了另一个动作,相比实际选择的动作可能获得的收益差。 CFR算法的主要步骤包括: CFR的一个重要特性是它保证在自博弈(self-play)中收敛到纳什均衡。这使得CFR成为解决大规模不完全信息博弈的有力工具。 实验设置 在本实验中,我们将使用RLCard库来实现CFR算法并训练Leduc Hold’em的AI智能体。RLCard是一个用于卡牌游戏强化学习的工具包,提供了多种常见卡牌游戏的环境和算法实现。 首先,我们需要安装RLCard库及其依赖: 然后导入必要的模块: 环境设置 我们需要创建两个Leduc Hold’em环境:一个用于CFR智能体的训练,另一个用于评估。训练环境需要启用step_back功能,以允许CFR算法在博弈树中进行回溯: 创建CFR智能体 接下来,我们创建一个CFR智能体: 这里我们指定了模型保存的路径。为了评估CFR智能体的性能,我们将其与一个随机智能体进行对抗: 训练过程 现在我们开始训练过程。我们将进行1000次迭代(即1000局游戏),每50次迭代评估一次智能体的性能: 在每次评估中,我们使用tournament函数让CFR智能体与随机智能体进行10000局对抗,并记录CFR智能体的平均收益。 [...]

斗地主是一款流行的中国传统扑克牌游戏,具有较高的策略性和复杂度。近年来,随着深度强化学习技术的发展,研究人员开始尝试使用AI算法来训练斗地主智能体。本文将介绍如何使用深度蒙特卡洛(Deep Monte-Carlo, DMC)方法来训练一个强大的斗地主AI智能体。 背景知识 斗地主游戏简介 斗地主是一种三人纸牌游戏,使用一副54张的扑克牌(包括大小王)。游戏开始时,一名玩家被选为”地主”,其他两名玩家为”农民”。地主获得额外的3张底牌,目标是最先出完手中的牌。农民则联手阻止地主获胜。游戏涉及复杂的策略,如记牌、配合、压制等。 深度蒙特卡洛方法 深度蒙特卡洛(DMC)方法是一种结合了深度学习和蒙特卡洛树搜索(MCTS)的强化学习算法。它通过大量模拟来评估行动的价值,并使用深度神经网络来近似值函数和策略函数。DMC方法在复杂的决策问题中表现出色,已成功应用于围棋等游戏。 环境设置 在开始训练之前,我们需要设置必要的环境和工具。本文将使用RLCard框架,它是一个用于卡牌游戏强化学习研究的工具包。 首先,安装RLCard及其PyTorch依赖: 然后,导入所需的模块: 创建斗地主环境 使用RLCard创建斗地主游戏环境: 输出结果: 从输出可以看出,斗地主是一个相当复杂的游戏: 这些数据反映出斗地主游戏的高度复杂性,这也是为什么需要使用先进的深度强化学习方法来训练AI智能体。 初始化DMC训练器 接下来,我们初始化DMC训练器: 参数说明: 开始训练 启动训练过程: 训练过程将会持续很长时间,可能需要几个小时到几天不等,具体取决于硬件配置和预期的模型性能。在训练过程中,我们可以观察到类似以下的输出: 这些输出提供了训练过程的实时信息: 随着训练的进行,我们希望看到损失函数值逐渐降低,而平均回报逐渐提高。 训练过程分析 在训练过程中,DMC算法会执行以下步骤: 在训练过程中,算法会不断优化智能体的策略,使其逐渐学会更好的出牌策略和对手建模。 训练技巧与注意事项 模型评估与应用 [...]

在双人零和博弈中，Nash均衡策略的选择是关键，因为其特性保障了在面对对手未知策略时，任何玩家都能最大化其预期收益。以下是逐步解释： 1. 定义双人零和博弈 双人零和博弈是指两个玩家的博弈，其中一个玩家的收益等于另一个玩家的损失。即，总收益为零。数学上表示为：如果一个玩家的收益为 (u) ，则另一个玩家的收益为 (-u)。 2. Nash均衡的定义 Nash均衡是指一种策略组合，其中每个玩家都不能通过单方面改变自己的策略来增加自己的收益。在这种策略组合下，每个玩家的策略都是对其他玩家策略的最佳响应。 3. 未知对手策略的挑战 在实际博弈中，往往无法预知对手的具体策略。因此，选择一种对所有可能的对手策略都能表现良好的策略显得尤为重要。 4. Nash均衡策略的优势 5. 例子说明 假设有一个简单的零和博弈：石头-剪刀-布。在这个博弈中，每个玩家都有三种选择： 博弈的收益矩阵如下： Rock Scissors Paper Rock 0 1 -1 Scissors -1 0 1 [...]

人格特质对决策的影响一直是心理学研究的重要课题。例如,宜人性通常与谈判中的积极结果相关,而神经质则往往与较差的结果有关。本文介绍了一个基于大语言模型(LLM)的谈判仿真框架,通过赋予LLM代理合成的人格特质,来研究人格因素对谈判结果的影响。这项研究不仅为探究LLM代理的语言和经济能力的一致性提供了新的方法,也为大五人格特质对双边谈判结果的战略影响提供了实证见解。让我们深入了解这项有趣的研究。 研究背景与动机 大语言模型近年来展现出模拟多样化人类特质的能力。然而,决策过程作为一种特殊的人类行为,对LLM来说仍然具有挑战性,因为它依赖于LLM目前缺乏的推理能力。本研究聚焦于谈判这一特定的决策场景,试图回答一个长期存在的心理学问题:”人格特质的差异如何影响谈判结果?” 传统经济学理论假设决策是基于一定程度的理性和对可选项的理解。但行为主义者认为,人类并非完全理性,而是受到心理因素、认知偏差和人格特质的影响。已有研究表明,某些人格特质可能在谈判中带来优势。例如,宜人性在竞争性谈判中可能略显劣势,但在合作性环境中则是一种优势。 研究方法 谈判模型 研究者设计了一个经典的买卖双方讨价还价场景。买家和卖家都是由LLM代理扮演,他们被定义为心理和经济特征的组合: $$\begin{aligned}\text{卖家} s &= (\psi_s, u_s) \\text{买家} b &= (\psi_b, u_b)\end{aligned}$$ 其中,$\psi_s$和$\psi_b$是基于大五人格模型的心理特征,$u_s$和$u_b$是效用函数,代表经济目标。 LLM代理配置 研究者通过上下文学习的方式,为LLM代理配置特定的人格特征和谈判目标。 谈判仿真过程 实验设置 评估指标 研究采用了多个经济指标来评估谈判结果: 研究结果与分析 谈判结果与人格特质的关系 研究发现,不同的人格特质对谈判结果有着不同程度的影响: 这些发现大体上与人类谈判实验的结果一致。例如,宜人性在竞争性谈判中可能处于劣势,但有利于达成合作性结果。 案例分析 研究者还对生成的对话进行了案例分析,发现了一些有趣的行为模式: [...]

在Codestral家族发布之后，Codestral Mamba的诞生标志着我们在研究和提供新型架构方面的又一步努力。这款模型可以免费使用、修改和分发，我们希望它能够为架构研究带来新的视角。 设计与合作Codestral Mamba是在Albert Gu和Tri Dao的帮助下设计的。这款模型不仅在技术上具有创新性，其设计过程中的合作精神也值得称道。 超越Transformer与Transformer模型不同，Mamba模型提供了线性时间推理的优势，理论上能够处理无限长度的序列。这使得它在处理代码生产力用例时表现出极高的效率。 能力与测试Codestral Mamba经过了高级代码和推理能力的培训，使其能够与最先进的基于Transformer的模型相媲美。它允许用户进行广泛的交互，并能够快速响应，无论输入的长度如何。我们已经测试了其在上下文检索能力上的表现，能够处理高达256k令牌的输入，这使得它有望成为一个出色的本地代码助手。 部署选项Codestral Mamba可以通过mistral-inference SDK进行部署，该SDK依赖于Mamba的GitHub存储库中的参考实现。此外，它还可以通过TensorRT-LLM进行部署。对于本地推理，可以期待在llama.cpp中获得支持。 可用性为了便于测试，Codestral Mamba已在la Plateforme上提供（标识为codestral-mamba-2407）。它与它的“大姐姐”Codestral 22B一起提供。Codestral Mamba在Apache 2.0许可下可用，而Codestral 22B则在商业许可下可用于自我部署，或在社区许可下用于测试目的。 参数数量Codestral Mamba是一个指导模型，拥有惊人的参数数量：7,285,403,648。 图像与图标文章中包含了多张图像，包括基准测试和标志，展示了该模型的能力以及组织的品牌形象。 Codestral Mamba在AI架构中是一个重要的进步，特别是对于那些对代码生产力和高效处理大型序列感兴趣的人来说。 [...]

在人工智能的快速发展中，大型语言模型（LLMs）已经成为我们探索知识海洋的强大工具。然而，这些模型在推理方面的表现却常常令人失望。它们可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差影响，这种现象被称为“谄媚”，即模型更倾向于与输入一致，而忽视了准确性。为了解决这些问题，研究人员一直在探索新的方法，而最近的一项研究为我们提供了新的视角。 Meta AI的突破性研究 Meta AI的研究人员提出了一种名为System 2 Attention（S2A）的新机制，旨在改进LLMs的推理能力。这项研究的灵感来源于丹尼尔·卡尼曼和阿莫斯·特沃斯基在《Thinking Fast and Slow》中对行为心理学的深入探讨。他们将人类的思考过程分为两种系统：快速、直觉的“系统1”和缓慢、理性的“系统2”。S2A正是模仿了这种“系统2”的思考方式，通过更加深思熟虑的方式来处理信息。 S2A的工作原理 S2A的核心在于重新生成输入上下文，排除那些可能会扭曲推理的不相关信息。这个过程分为两个步骤： 实验结果 在实验中，S2A在问答（QA）、数学文字问题和长篇生成任务上的表现均优于标准注意力机制的LLMs。它显著提高了事实性和客观性，减少了对输入提示中意见的迎合。例如，在修改后的TriviaQA数据集上，S2A将事实性的正确率从62.8%提高到了80.3%，接近于没有无关信息的Oracle提示的82%的正确率。 未来展望 尽管S2A在实验中表现出色，但它并非没有局限性。它有时也会失败，不能完全去除所有无关的上下文信息，且需要更多的计算资源。然而，研究人员认为通过进一步的优化和微调，S2A的性能和效率都有可能得到提升。未来的研究可能会考虑微调、强化学习或替代提示技术来进一步优化S2A方法。 结语 System 2 Attention为我们打开了一扇通往更智能、更可靠AI世界的大门。它不仅为研究人员提供了新的工具，也为所有希望利用AI力量的人带来了新的可能。想要深入了解S2A的奥秘吗？点击这里，让我们一起探索这个令人兴奋的新技术世界。 [...]