Month: May 2024

随着科学发现逐渐依赖于大语言模型（LLMs）的辅助，我们开始看到这一领域的突破性进展。本文由 Siyuan Guo、Aniket Didolkar、Nan Rosemary Ke、Anirudh Goyal、Ferenc Huszár 和 Bernhard Schölkopf 合著，旨在评估大语言模型在解决数学问题时所需的不同数学技能的领域知识。 引言：从模式匹配到领域理解 大语言模型在处理复杂的数学问题时，不仅需要依赖预训练阶段已掌握的知识，还需要通过上下文学习或指令调整等方式，从信息中学习。本文在此基础上，提出了一种名为 NTKEval 的评估方法，该方法借鉴了神经切线核（Neural Tangent Kernel，NTK）的概念，通过在不同类型的数学数据上训练，评估大语言模型的概率分布变化。 NTKEval 方法：评估模型的学习能力 NTKEval 方法的核心在于通过训练不同种类的数学数据，观察大语言模型的概率分布变化，从而评估其领域理解能力。具体来说，该方法分析了大语言模型在上下文学习过程中的表现，以及在指令调整过程中的表现。结果显示，在上下文学习过程中，模型表现出了一定的领域理解能力。 发现：上下文学习与指令调整的差异 通过系统分析，我们发现大语言模型在上下文学习过程中，能够展现出一定的领域理解能力。然而，在指令调整过程中，无论训练数据的种类如何，模型的性能变化都趋于一致，这表明模型在不同技能上的领域理解能力存在不足。 结论与未来展望 本文的研究揭示了大语言模型在处理数学问题时的优势和不足。尽管在上下文学习过程中，模型能够展现出一定的领域理解能力，但在指令调整过程中，模型的表现仍有待提高。未来的研究可以进一步优化大语言模型的训练方法，提升其在不同数学技能上的理解能力。 通过本文的研究，我们不仅揭示了大语言模型在科学发现过程中的潜力，也为未来的模型优化提供了重要的参考。 如果您对本文的详细内容感兴趣，请访问以下链接阅读完整版论文：Learning Beyond Pattern [...]

引言 在人工智能（AI）计算平台上实现高效的能源利用是一个关键挑战。生物系统展示了在复杂技能学习中的快速且高效的能力，这为AI的研究提供了重要的灵感。因此，本文提出了一种基于模型的强化学习（Model-Based Reinforcement Learning，MBRL）方法，使用混合信号类脑（neuromorphic）硬件上的脉冲神经网络（Spiking Neural Networks，SNNs）进行实现，从而提高样本效率和能源效率。 基于模型的强化学习 混合信号神经形态硬件 混合信号神经形态硬件结合了模拟和数字信号处理的优点，能够在低功耗的情况下实现复杂的神经网络计算。本文使用的DYNAP-SE神经形态处理器架构，基于指数泄露积分发放（ExLIF）模型，实现了高效的神经元动态模拟。 “清醒-做梦”学习阶段 提出了一种”清醒-做梦”学习模式，交替进行在线学习（清醒阶段）和离线学习（做梦阶段）。在清醒阶段，代理与真实环境互动并更新其策略和世界模型；在做梦阶段，代理使用学习到的世界模型生成模拟经验，进一步细化策略。这种方法模拟了生物大脑在清醒和睡眠状态下的学习过程，提高了学习效率。 两个共生网络 模型包括两个网络：一个代理网络，通过结合真实和模拟经验进行学习；一个学习到的世界模型网络，用于生成模拟经验。这两个网络相互作用，共同提高系统的学习效率。 实验设计 为了验证所提出方法的有效性，本文在Atari游戏Pong中进行了实验。实验包括以下几个步骤： 基线代理无做梦能力 建立了一个没有做梦能力的SNN基线代理，架构包括一个输入层，一个隐藏层（由510个漏斗积分发放（LIF）神经元组成），以及一个3单元读出层。代理仅在读出层更新权重，使用基于奖励的策略梯度规则进行训练。 代理加入做梦能力 在基线代理的基础上增加了做梦能力，使用一个单独的模型网络来学习环境动态。模型网络架构与代理类似，但有3个额外的动作输入和4+1个读出单元来预测下一个状态和奖励。 时间考虑 为了优化系统性能和训练时间，研究了10毫秒、20毫秒和50毫秒的等待时间，最终选择了10毫秒的等待时间以最小化训练时间。 实验设置 实验在OpenAI Gym工具包中的Atari Pong视频游戏环境中进行，每个训练运行包括2000个游戏，每个游戏持续100帧。进行了10次独立的训练运行，以确保结果的稳健性和可靠性。 实验结果 实验结果显示，通过引入做梦能力，显著提高了样本效率，使得代理在与真实环境的交互次数减半的情况下达到更高的分数。图表展示了有无做梦能力的代理在训练过程中的平均回报以及策略熵的演变。 未来研究方向 论文提出了多个未来研究方向，包括： 结论 [...]

作者：Dean Wyatte, Fatemeh Tahmasbi, Ming Li, Thomas Markovich 大型语言模型（Large Language Models，LLMs）在生成多样化查询的合理答案方面表现出色，代表了机器学习模型的一次重大飞跃。然而，这些模型在客户支持应用中也面临着一系列挑战，例如容易产生幻觉（hallucination）和数据泄露风险。本文将探讨如何通过将语言建模任务重新定义为判别性分类任务，来利用LLMs增强客户支持服务。 问题背景与研究目标 尽管LLMs在生成多样化查询的合理答案方面表现出色，但它们的短期应用在客户支持中面临挑战。幻觉答案和数据泄露风险使得它们的直接应用受到限制。为了解决这些问题，本文提出了一种系统，将语言建模任务重新定义为判别性分类任务，帮助客服代表选择最佳的模板回复。 方法论：两阶段训练流程 为了有效利用LLMs来增强客户支持服务，本文提出了一个两阶段训练流程： 领域适应性预训练（Domain Adaptive Pre-training） 首先，使用预训练的LLM，并在目标领域的数据上继续预训练。本文使用了Cash App客户支持记录的数据进行预训练，这有助于模型学习特定领域的语言和上下文。 判别性微调（Discriminative Fine-tuning） 在领域适应的基础上，添加一个新的线性层，并在标记了客服代表模板回复选择的较小数据集上进行端到端的微调，以产生最终的分类器。 数据集准备与模型选择 数据集准备 本文使用Cash App客户支持记录构建数据集，并进行了处理以去除个人识别信息（PII），确保数据安全和隐私。 模型选择 选用了基于GPTNeoX架构的Pythia系列LLMs，这些模型在预训练阶段已经学习了大量的通用网络数据。 实验设计与结果 [...]

引言 前几天，我看了几篇介绍SSM（State Space Model）的文章，才发现自己从未认真了解过SSM，于是决定深入学习相关内容，并记录下我的学习所得。SSM的概念由来已久，但我们这里特指的是深度学习中的SSM。一般认为它的开篇之作是2021年的S4，而SSM最新的变体大概是去年的Mamba。 SSM的背景与发展 SSM在深度学习中的应用起源于S4，但在S4之前有一篇重要的奠基之作《HiPPO: Recurrent Memory with Optimal Polynomial Projections》（简称HiPPO）。本文将从HiPPO开始，深入探讨其基本形式、数学推导及其在SSM中的应用。 基本形式 对于已经对SSM有所了解的读者，可能知道SSM建模所用的是线性ODE系统：[\begin{aligned}x'(t) =&\, A x(t) + B u(t) \y(t) =&\, C x(t) + D u(t)\end{aligned}]其中 (u(t) \in \mathbb{R}^{d_i}, [...]

在最新的 DeepSeek-V2 语言模型中，多头潜在注意力机制 (Multi-head Latent Attention, MLA) 作为一种创新架构，被设计用来保证高效的推理过程。本文将详细介绍 MLA 的关键特性及其在 DeepSeek-V2 中的应用和优势。 高效的推理过程 MLA 通过将 Key-Value (KV) 缓存压缩到一个潜在向量中，显著减少了推理过程中所需的内存和计算资源。这种压缩大大降低了内存占用和计算需求，从而实现更快、更高效的处理 [1]。 Key-Value (KV) 缓存压缩 在注意力机制中，KV 缓存是一个重要组件，负责存储输入序列中不同 token 之间的关系信息。MLA 将这个缓存压缩成一个潜在向量，显著减小其大小和内存占用 [1]。 稀疏计算 MLA [...]

近日，27岁的天才创始人Joel Hellermark与“AI教父”Geoffery Hinton进行了一次深度对话。Hinton在采访中回忆了自己的人工智能生涯，讨论了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题，并且聊到了他的得意门生Ilya Sutskever（前段时间离职的OpenAI首席科学家）。 神秘人物：Geoffery Hinton 受访者Hinton是人工智能领域的传奇人物，而采访者Joel Hellermark也颇有背景。他自幼在东京长大，13岁开始编码，14岁创立了一家视频推荐公司。19岁时，他创办了人工智能研究实验室Sana，并在2023年成功筹集了8000万美元的融资。Hellermark坚信学习的力量，因此他没有选择上大学，而是通过斯坦福公开课程自学编程，创办Sana的目标就是“改变教育”。 从研究大脑到编程 开始编程的故事 Hellermark：你是怎么开始编程的？ Hinton：我从英国刚到卡内基梅隆大学的时候。1982年，我前往卡内基梅隆大学担任计算机科学系教授，直至1987年。在英国的研究单位时，每晚六点钟大家都会去酒吧喝一杯。但到了卡内基梅隆几周后，我还没交到多少朋友。所以在某个周六晚上，我决定去实验室编写一些程序，因为实验室里有一台Lisp机器，家里没有。 剑桥时期的回忆 Hellermark：能不能把我们带回剑桥时期，试图理解人脑的经历？ Hinton：非常令人失望。我为了研究大脑，先是去学习生理学，但实际上他们只教了我们神经元如何传导动作电位……这非常有趣，但不是大脑工作的原理。于是我又转向了哲学，因为我以为他们会告诉我心灵是如何运作的，结果也是非常令人失望。最终，我选择到爱丁堡学习人工智能。 影响深远的书籍和导师 关键的启发 Hellermark：你还记得是什么激起了你对人工智能的兴趣吗？ Hinton：是唐纳德·赫布（Donald Hebb）的一本书，里面介绍了如何学习神经网络中的连接强度。早期我还读过约翰·冯·诺伊曼（John von Neumann）的一本书，书里介绍了大脑的计算方式以及大脑计算与普通计算机的区别。 导师和合作伙伴 Hellermark：你还记得以前经历过的合作吗？ Hinton：我在卡内基梅隆大学时曾与泰伦斯·塞诺夫斯基（Terry Sinofsky）有过许多交流，我们共同研究玻尔兹曼机。还有彼得·布朗（Peter Brown），他是一位非常优秀的统计学家，在IBM从事语音识别工作。他启发我采用“隐藏层”这一概念来描述神经网络中的中间层。 凭直觉思考的天才：Ilya Sutskever [...]