AGI

在探索人工智能的边界时，我们发现了一种令人兴奋的新机制——System 2 Attention（S2A），它为大型语言模型（LLMs）带来了革命性的改变。这一突破性技术由Meta AI的研究人员提出，旨在解决传统注意力机制容易受到上下文无关信息干扰的问题 。 想象一下，当你的智能助手在回答一个复杂问题时，它能够像人类一样深入分析，排除所有干扰，只关注最相关的信息。这正是S2A所做的。它通过一个简单的两步过程：首先，重新生成输入上下文，排除不相关的部分；然后，利用这个精炼后的上下文生成最终的响应 。 但S2A的魔力不止于此。它在实验中大放异彩，在问答、长篇生成和数学文字问题解答等任务中，S2A都展现出了比标准注意力机制更优异的性能。它不仅提高了答案的准确性，还增加了客观性，减少了对输入提示中意见的迎合 。 这项技术的核心在于模仿人类的认知过程。正如心理学家丹尼尔·卡尼曼所描述的，System 2 Attention就像是我们的“系统2”，在面对需要深思熟虑的问题时，它会接管控制权，以避免“系统1”可能犯下的错误 。通过这种方式，S2A使LLMs能够更加理性和深入地处理信息。 然而，S2A并非万能。它有时也会失败，不能完全去除所有无关的上下文信息 。此外，S2A需要更多的计算资源，因为它必须首先重新生成上下文的相关部分。尽管如此，研究人员认为通过进一步的优化和微调，S2A的性能和效率都有可能得到提升 。 随着人工智能技术的不断进步，S2A的出现无疑为我们打开了一扇通往更智能、更精准AI世界的大门。它不仅为研究人员提供了新的工具，也为所有希望利用AI力量的人带来了新的可能。想要深入了解S2A的奥秘吗？点击以下链接，让我们一起探索这个令人兴奋的新技术世界：https://arxiv.org/abs/2311.11829 。

1. 引言 深度强化学习在复杂任务中已经取得了很好的效果。然而,现有的深度Q网络(DQN)存在以下局限性: 1) 记忆能力有限,只能利用最近几帧的信息。2) 依赖于在每个决策点能够观察到完整的游戏画面。 为了解决这些问题,本文提出了深度递归Q网络(DRQN),通过在DQN中加入长短期记忆(LSTM)来处理部分可观测的环境。 2. 深度Q学习 Q学习是一种用于估计长期回报的无模型离线策略算法。传统Q学习需要维护一个状态-动作值表,而深度Q学习使用神经网络来近似Q值函数: $$Q(s, a|\theta) \approx Q^*(s,a)$$ 其中$\theta$是网络参数。训练时使用均方误差损失: $$L(\theta) = \mathbb{E}[(r + \gamma \max_{a’} Q(s’, a’|\theta^-) – Q(s,a|\theta))^2]$$ 为了稳定训练,DQN采用了经验回放和目标网络等技巧。 3. 部分可观测性 在实际环境中,智能体往往无法获得完整的系统状态信息,这就导致了部分可观测马尔可夫决策过程(POMDP)。POMDP可以用一个6元组$(S,A,P,R,\Omega,O)$描述,其中$\Omega$是观测空间,$O$是观测函数。 标准的DQN无法有效处理POMDP,因为它直接从观测估计Q值:$Q(o,a|\theta) \neq Q(s,a|\theta)$。 4. DRQN架构 DRQN在DQN的基础上,将第一个全连接层替换为LSTM层: 1) 输入:84×84的游戏画面2) 3个卷积层3) LSTM层(512个单元)4) 全连接输出层(18个动作的Q值) 训练时同时学习卷积层和递归层的参数。 5. 稳定的递归更新 考虑了两种更新方式: 1) 顺序更新:从回放记忆中选择完整的episode进行更新2) 随机更新:从回放记忆中随机选择起始点,更新固定步数 实验表明两种方式都可以收敛,本文采用随机更新方式。 6. Atari游戏:MDP还是POMDP? Atari 2600游戏的状态可以由128字节的控制台RAM完全描述。但是,人类和AI智能体只能观察到游戏画面。对于许多游戏来说,单帧画面不足以确定系统状态。 DQN通过使用最近4帧画面作为输入来推断完整状态。为了引入部分可观测性,本文提出了”闪烁Pong”游戏 – 以0.5的概率遮挡每一帧画面。 … Read more

大型语言模型(LLM)在数学推理方面展现出惊人的能力,这一特性被视为衡量人工智能发展水平的重要指标。然而,如何全面评估LLM的数学能力,并真实反映其在实际应用场景中的表现,已成为一个亟待解决的关键问题。本文将详细介绍一种名为MATHCHECK的创新评估方法,该方法旨在对LLM的数学推理能力进行更加全面和深入的评估。 1. 背景与动机 传统的数学能力评估方法主要关注模型解决特定数学问题的能力,这种方法存在以下局限性: 基于此,研究者提出一个重要观点:如果一个模型真正理解了一个数学问题,它应该能够稳健地应对与该问题相关的各种任务。这一洞见启发了MATHCHECK评估方法的设计。 2. MATHCHECK方法概述 MATHCHECK是一种精心设计的评估清单,旨在测试模型在任务泛化和推理鲁棒性方面的表现。它包含多种数学推理任务和鲁棒性测试类型,以实现对数学推理能力和推理行为的全面评估。 2.1 任务泛化 MATHCHECK在水平方向上评估模型在四种不同数学任务中的表现: 这种多任务评估方法不仅提供了对模型能力的全面评估,也更贴近实际应用场景的需求和复杂性。 2.2 推理鲁棒性 MATHCHECK在垂直方向上通过四种问题形式来评估模型的推理鲁棒性: 通过这种多维度的鲁棒性测试,可以更全面地评估模型是否真正理解了问题的内在数学逻辑。 2.3 清单构建 MATHCHECK数据的创建是一个耗时且需要大量人力的过程。为了提高效率和质量,研究者利用大型语言模型(如GPT-4-Turbo)作为引擎来自动生成MATHCHECK数据。数据构建流程如下: 这种自动化的数据生成流程大大提高了MATHCHECK数据集的构建效率,同时保证了数据的高质量和多样性。 3. MATHCHECK数据集 基于MATHCHECK方法,研究者构建了两个benchmark数据集: 3.1 MATHCHECK-GSM MATHCHECK-GSM是基于GSM8k数据集生成的MATHCHECK风格数据集,用于评估模型的数学文本推理能力。它包含129个MATHCHECK风格的问题组,共3,096条高质量数据。每个问题组包含一个原始问题及其三个鲁棒性变体,每个问题又对应四种不同的任务。 3.2 MATHCHECK-GEO MATHCHECK-GEO是专门用于评估多模态几何推理能力的数据集。它基于GeoQA、UniGeo和Geometry3K等几何问题数据集生成,包含60个MATHCHECK风格的问题组,共1,440条高质量数据。值得注意的是,这是首个涵盖可答性判断、结果判断和过程判断任务的几何问题数据集。 这两个数据集都经过了严格的人工验证,以确保高质量和可靠性。研究者招募了三名经过专门培训的研究生进行数据验证,最终自动数据生成流程的平均通过率达到84.61%。 4. 实验设置与结果 4.1 实验设置 为全面评估现有LLM的数学推理能力,研究者选择了31个模型进行测试,包括20个LLM和11个MLLM(多模态大语言模型)。这些模型主要分为两类: 评估指标方面,研究者使用F1分数评估结果判断和可答性判断任务,使用准确率(Acc)评估其他两项任务。 4.2 主要结果 MATHCHECK-GSM结果 MATHCHECK-GEO结果 5. 深入分析 5.1 MATHCHECK与传统基准的比较 研究者进行了对比实验,发现相比传统的仅关注问题求解的基准,MATHCHECK评估结果与模型的真实数学能力更为一致,并且能更线性地表示数学智能。这证明了MATHCHECK设计的合理性和有效性。 5.2 模型行为分析 通过MATHCHECK,研究者能够对模型进行详细的行为分析: 6. 结论与展望 MATHCHECK作为一种新型的数学推理能力评估方法,为全面评估大型语言模型的数学能力提供了重要工具。通过任务泛化和推理鲁棒性的多维度测试,MATHCHECK能够更准确地反映模型的真实数学推理水平,并支持深入的行为分析。 未来研究方向可能包括: 总之,MATHCHECK为评估和理解大型语言模型的数学推理能力提供了一个强大的框架,有望推动人工智能在数学推理领域的进一步发展。 参考文献

强化学习作为人工智能的一个重要分支,在近年来取得了突飞猛进的发展。RLCard是一个专门针对卡牌游戏的强化学习工具包,为研究人员和开发者提供了一个便捷的平台来开发和测试各种强化学习算法。本文将详细介绍RLCard工具包的开发相关内容,包括如何添加预训练/规则模型、开发新的算法、添加新的游戏环境以及自定义环境等方面。 添加预训练/规则模型 在RLCard中添加自己的预训练或规则模型是一个重要的功能,可以让研究人员快速比较不同模型的性能。添加新模型的步骤如下: 然后可以使用leduc_nfsp_model.agents来获取游戏的所有代理。 通过这些步骤,研究人员可以方便地将自己的模型集成到RLCard中,与其他算法进行比较和评估。 开发新算法 RLCard为开发新的强化学习算法提供了灵活的框架。虽然用户可以自由设计和尝试自己的算法,但建议将新算法封装为Agent类,以便与工具包兼容。一个标准的Agent类应该包含以下函数和属性: 通过实现这些标准接口,新开发的算法可以无缝集成到RLCard的评估和比较框架中。 添加新的游戏环境 RLCard的一大优势是其可扩展性,允许研究人员添加新的卡牌游戏环境。添加新环境的一般步骤如下: 要测试新环境是否设置成功,可以使用以下代码: 通过这些步骤,研究人员可以将自己设计的卡牌游戏添加到RLCard中,利用工具包提供的各种算法和评估工具进行研究。 自定义环境 除了使用默认的状态表示和动作编码,RLCard还允许用户自定义环境。以下以Limit Texas Hold’em为例,说明如何修改状态表示、动作编码、奖励计算,甚至游戏规则。 状态表示 要定义自己的状态表示,可以修改/rlcard/envs/limitholdem.py中的extract_state函数。这个函数负责将游戏的当前状态转换为强化学习算法可以理解的格式。例如,可以选择包含不同的信息,或者改变信息的编码方式。 动作编码 要定义自己的动作编码,可以修改/rlcard/envs/limitholdem.py中的decode_action函数。这个函数负责将动作ID转换为游戏中的实际动作。通过自定义这个函数,可以改变动作空间的结构或大小。 奖励计算 要定义自己的奖励计算方式,可以修改/rlcard/envs/limitholdem.py中的get_payoffs函数。这个函数决定了在游戏结束时每个玩家获得的奖励。通过修改奖励计算,可以影响强化学习算法的学习目标和行为。 修改游戏规则 我们还可以通过改变游戏的参数来调整其难度。例如,在rlcard/games/limitholdem/game.py的init函数中,可以修改以下参数: 通过这些修改,研究人员可以创建不同难度或变体的游戏环境,以满足特定的研究需求。 结论 RLCard为卡牌游戏中的强化学习研究提供了一个强大而灵活的平台。通过添加新的模型、算法和环境,以及自定义现有环境,研究人员可以进行广泛的实验和比较。这种可扩展性使RLCard成为探索强化学习在复杂决策问题中应用的理想工具。 随着强化学习技术的不断发展,我们可以期待看到更多创新算法在卡牌游戏中的应用。RLCard为这些研究提供了一个统一的框架,促进了知识的共享和进步。未来,我们可能会看到这些技术不仅应用于游戏,还能扩展到更广泛的决策问题中,如金融交易、资源调度等实际应用场景。 参考文献

引言 强化学习（Reinforcement Learning, RL）作为机器学习的重要分支，近年来在各类复杂任务中取得了显著成果。特别是在纸牌游戏中，RL算法展示了其强大的决策能力与策略优化能力。本文将详细介绍RLCard工具包中的几种主要算法，包括深度Q学习（Deep-Q Learning, DQN）、神经虚拟自我对弈（Neural Fictitious Self-Play, NFSP）、反事实遗憾最小化（Counterfactual Regret Minimization, CFR）以及深度反事实遗憾最小化（Deep Counterfactual Regret Minimization, DeepCFR）。 深度Q学习（DQN） DQN简介 深度Q学习（DQN）是一种基础的强化学习算法，最早由DeepMind团队提出。DQN通过引入神经网络来逼近Q值函数，从而在复杂的决策环境中能够更高效地学习策略。 DQN在RLCard中的实现 在RLCard工具包中，DQN包含以下几个重要类： DQN工作流程 神经虚拟自我对弈（NFSP） NFSP简介 神经虚拟自我对弈（NFSP）是一种端到端的方法，旨在通过深度强化学习解决纸牌游戏中的策略优化问题。NFSP包含一个内部的RL智能体和一个基于RL智能体生成的数据进行训练的监督学习智能体。 NFSP在RLCard中的实现 在RLCard工具包中，NFSP利用DQN作为其RL智能体，结合监督学习智能体共同进行策略的优化与学习。 NFSP工作流程 反事实遗憾最小化（CFR） CFR简介 反事实遗憾最小化（CFR）是一种遗憾最小化方法，主要用于解决不完美信息游戏中的策略优化问题。CFR通过重复更新策略，逐步最小化每一步决策的遗憾值，从而逼近最优策略。 CFR在RLCard中的实现 在RLCard工具包中，CFR作为一种经典的遗憾最小化算法被实现，用于纸牌游戏中的策略优化。 CFR工作流程 深度反事实遗憾最小化（DeepCFR） DeepCFR简介 深度反事实遗憾最小化（DeepCFR）是一种先进的框架，旨在解决不完美信息游戏中的策略优化问题。DeepCFR将深度学习与反事实遗憾最小化相结合，利用神经网络进行遗憾值的逼近与策略优化。 DeepCFR在RLCard中的实现 在RLCard工具包中，DeepCFR作为一个示例展示了如何将先进的框架连接到环境中。DeepCFR包含以下几个重要类： DeepCFR工作流程 结论 RLCard工具包提供了多种先进的强化学习算法，帮助研究人员与开发者在纸牌游戏中进行策略优化与决策研究。本文详细介绍了DQN、NFSP、CFR和DeepCFR四种算法的基本原理与实现方法，希望能够为读者提供有价值的参考。 参考文献

RLCard是一个用于卡牌游戏强化学习的开源工具包,为研究人员和开发者提供了一个统一的环境和接口来开发、评估和比较卡牌游戏AI算法。本文将对RLCard的主要功能和使用方法进行详细介绍。 1. RLCard概述 RLCard支持多种流行的卡牌游戏,包括: RLCard提供了统一的接口来访问这些游戏环境,使得开发者可以方便地在不同游戏之间切换和对比算法。同时,RLCard还内置了多种经典的强化学习算法实现,如DQN、CFR等,可以直接用于训练和评估。 RLCard的主要特点包括: 接下来我们将通过几个具体的例子来详细介绍RLCard的使用方法。 2. 使用随机智能体 RLCard提供了一个随机智能体,可以在各个游戏环境中随机行动。下面是一个使用随机智能体的示例代码: 这段代码创建了一个Leduc Hold’em游戏环境,并使用随机智能体进行了一局游戏。通过打印轨迹和观察数据,我们可以了解游戏的进行过程和状态表示。 3. 使用深度Q网络(DQN)训练智能体 RLCard提供了DQN等经典强化学习算法的实现。下面是一个使用DQN在21点游戏上训练智能体的示例: 这段代码在21点游戏上训练了一个DQN智能体。它定期评估智能体的性能,并记录了训练过程中的奖励变化。最后,它还绘制了学习曲线以可视化训练过程。 4. 使用CFR算法求解Leduc Hold’em 对于一些较小规模的游戏,我们可以使用反事实后悔最小化(CFR)等算法来求解纳什均衡。下面是一个在Leduc Hold’em上使用CFR(机会采样)的示例: 这段代码使用CFR算法在Leduc Hold’em上训练了一个智能体。它同样定期评估智能体的性能,并记录了训练过程。 5. 与预训练模型对战 RLCard还提供了一些预训练模型,允许人类玩家与之对战。以下是一个与Leduc Hold’em预训练CFR模型对战的示例: 这段代码允许人类玩家与预训练的CFR模型进行Leduc Hold’em的对战。它展示了每局游戏的结果,并在游戏结束后显示CFR智能体的手牌。 6. 使用深度蒙特卡洛(DMC)算法训练斗地主智能体 对于大规模游戏如斗地主,我们可以使用深度蒙特卡洛(DMC)等算法进行训练。以下是一个使用DMC训练斗地主智能体的示例: 这段代码使用DMC算法训练了一个斗地主智能体。DMC算法使用多个actor并行生成游戏数据,然后在GPU上进行集中训练。 7. 评估智能体 RLCard提供了方便的工具来评估和比较不同的智能体。以下是一个比较DQN智能体和随机智能体的示例: 这段代码比较了预训练的DQN智能体和随机智能体在Leduc Hold’em上的表现。它使用锦标赛方式进行了大量对局,并计算了每个智能体的平均收益。 8. 总结 RLCard为卡牌游戏强化学习提供了一个强大而灵活的平台。它支持多种流行的卡牌游戏,提供了统一的接口和丰富的工具,使得研究人员和开发者可以方便地开发、训练和评估卡牌游戏AI。 本文通过多个具体示例介绍了RLCard的主要功能,包括: 这些例子涵盖了RLCard的核心功能,展示了它在卡牌游戏AI研究和开发中的强大能力。研究人员和开发者可以基于这些示例,进一步探索和开发更先进的卡牌游戏AI算法。 参考文献

在当今飞速发展的人工智能时代,开发者们渴望拥有一个强大而又易用的AI代码助手。本文将为您详细介绍如何利用Ollama和Continue这两个开源工具,在您自己的编辑器中打造一个完全开源的AI代码助手。让我们一步步深入探索这个激动人心的话题。 Ollama和Continue简介 Ollama: 本地运行大型语言模型的利器 Ollama是一个强大的工具,允许用户在本地设备上运行各种大型语言模型(LLMs)。它支持多种模型,包括Llama、GPT-J等,使得在个人电脑上使用先进的AI模型成为可能。 Continue: 编辑器中的AI助手 Continue是一个创新的IDE插件,可以轻松地在Visual Studio Code和JetBrains等主流编辑器中集成AI辅助功能。它支持代码自动完成、智能对话等特性,大大提升了开发效率。 安装和配置 要开始使用这个强大的AI代码助手,我们需要完成以下安装步骤: 安装完成后,我们就可以开始探索这个强大的AI代码助手了。 探索Ollama和Continue的强大功能 1. 尝试Mistral AI的Codestral 22B模型 Codestral 22B是目前最强大的开源代码模型之一,同时支持自动完成和对话功能。虽然它需要较高的硬件要求,但其表现令人印象深刻。 使用步骤: a. 在终端运行以下命令下载并运行Codestral: b. 在Continue的配置文件(config.json)中添加以下内容: 这样配置后,您就可以在编辑器中体验Codestral强大的代码补全和对话能力了。 2. 组合使用DeepSeek Coder和Llama 3 如果您的设备性能允许,可以尝试同时运行多个模型,充分发挥Ollama的并发处理能力。这里我们推荐使用DeepSeek Coder 6.7B进行代码自动完成,而用Llama 3 8B处理对话任务。 操作步骤: a. 在一个终端窗口运行DeepSeek Coder: b. 在另一个终端窗口运行Llama 3: c. 更新Continue的config.json: 这种配置可以让您同时享受高质量的代码补全和智能对话体验。 3. 使用nomic-embed-text嵌入模型增强@codebase功能 Continue内置了@codebase上下文提供器,可以自动检索并提供最相关的代码片段。结合Ollama和LanceDB,我们可以实现完全本地化的代码库搜索和上下文理解。 设置步骤: a. 下载nomic-embed-text模型: b. 在Continue的config.json中添加: 配置完成后,您就可以使用@codebase命令来查询代码库,AI助手会自动找到相关代码段并用于回答。 4. … Read more

引言 在人工智能和机器学习领域,数据质量一直是影响模型性能的关键因素。无论是在语言、视觉还是多模态建模中,精心策划的数据集都能显著提高模型性能,同时减少所需的数据量。然而,传统的数据策划方法主要依赖人工,成本高昂且难以扩展。 近年来,基于模型的数据策展方法开始受到关注。这些方法利用正在训练的模型的特征来选择高质量数据,有望改善大规模预训练的效率。然而,现有方法大多关注单个数据点的质量,忽视了批次组成对学习效果的影响。 本文介绍了一种新颖的方法 – 联合示例选择的多模态对比学习(JEST),它通过选择整个批次而非单独的数据点来加速多模态学习。JEST利用多模态对比目标暴露出的数据间依赖关系,提出了一种衡量批次整体可学习性的标准,并开发了一种高效算法来选择最佳批次。实验表明,JEST显著加快了训练速度,比现有最先进模型减少了13倍的迭代次数和10倍的计算量。 JEST方法概述 基于模型的批次选择标准 JEST的核心是一种基于模型的批次选择标准。与传统方法不同,JEST不是对单个样本进行评分,而是对整个子批次进行评分,然后根据这些批次级别的分数进行采样。具体而言,JEST考虑了以下几种评分函数: JEST主要采用可学习性评分,但也提供了简单参考评分作为对照。 联合示例选择算法 对于多模态学习,JEST采用了一种受块吉布斯采样启发的顺序方法来选择批次。算法的主要步骤如下: 这种方法能够快速生成具有高可学习性的批次,效果与暴力吉布斯采样相当,但计算效率更高。 高效评分和多分辨率训练 为了进一步提高计算效率,JEST采用了以下策略: 通过这些优化,JEST在保持高效率的同时,显著减少了评分的计算开销。 实验结果与分析 联合示例选择的有效性 实验结果表明,JEST能够有效地选择高可学习性的批次: JEST加速多模态学习的效果 在多个下游任务(包括ImageNet分类和COCO图像-文本检索)上的实验表明: JEST的优势与创新 结论与展望 联合示例选择的多模态对比学习(JEST)为加速多模态学习提供了一种新颖而有效的方法。通过考虑批次级别的可学习性,JEST能够更好地捕捉数据之间的相互作用,从而显著提高学习效率和模型性能。实验结果表明,JEST不仅能大幅减少训练时间和计算资源,还能在多个下游任务上取得更好的性能。 未来的研究方向可能包括: 总之,JEST为多模态学习领域开辟了一个新的研究方向,有望推动更高效、更强大的AI系统的发展。 参考文献