InfoGaps | 信息差

引言 前几天，我看了几篇介绍SSM（State Space Model）的文章，才发现自己从未认真了解过SSM，于是决定深入学习相关内容，并记录下我的学习所得。SSM的概念由来已久，但我们这里特指的是深度学习中的SSM。一般认为它的开篇之作是2021年的S4，而SSM最新的变体大概是去年的Mamba。 SSM的背景与发展 SSM在深度学习中的应用起源于S4，但在S4之前有一篇重要的奠基之作《HiPPO: Recurrent Memory with Optimal Polynomial Projections》（简称HiPPO）。本文将从HiPPO开始，深入探讨其基本形式、数学推导及其在SSM中的应用。 基本形式 对于已经对SSM有所了解的读者，可能知道SSM建模所用的是线性ODE系统：[\begin{aligned}x'(t) =&\, A x(t) + B u(t) \y(t) =&\, C x(t) + D u(t)\end{aligned}]其中 (u(t) \in \mathbb{R}^{d_i}, [...]

在最新的 DeepSeek-V2 语言模型中，多头潜在注意力机制 (Multi-head Latent Attention, MLA) 作为一种创新架构，被设计用来保证高效的推理过程。本文将详细介绍 MLA 的关键特性及其在 DeepSeek-V2 中的应用和优势。 高效的推理过程 MLA 通过将 Key-Value (KV) 缓存压缩到一个潜在向量中，显著减少了推理过程中所需的内存和计算资源。这种压缩大大降低了内存占用和计算需求，从而实现更快、更高效的处理 [1]。 Key-Value (KV) 缓存压缩 在注意力机制中，KV 缓存是一个重要组件，负责存储输入序列中不同 token 之间的关系信息。MLA 将这个缓存压缩成一个潜在向量，显著减小其大小和内存占用 [1]。 稀疏计算 MLA [...]

近日，27岁的天才创始人Joel Hellermark与“AI教父”Geoffery Hinton进行了一次深度对话。Hinton在采访中回忆了自己的人工智能生涯，讨论了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题，并且聊到了他的得意门生Ilya Sutskever（前段时间离职的OpenAI首席科学家）。 神秘人物：Geoffery Hinton 受访者Hinton是人工智能领域的传奇人物，而采访者Joel Hellermark也颇有背景。他自幼在东京长大，13岁开始编码，14岁创立了一家视频推荐公司。19岁时，他创办了人工智能研究实验室Sana，并在2023年成功筹集了8000万美元的融资。Hellermark坚信学习的力量，因此他没有选择上大学，而是通过斯坦福公开课程自学编程，创办Sana的目标就是“改变教育”。 从研究大脑到编程 开始编程的故事 Hellermark：你是怎么开始编程的？ Hinton：我从英国刚到卡内基梅隆大学的时候。1982年，我前往卡内基梅隆大学担任计算机科学系教授，直至1987年。在英国的研究单位时，每晚六点钟大家都会去酒吧喝一杯。但到了卡内基梅隆几周后，我还没交到多少朋友。所以在某个周六晚上，我决定去实验室编写一些程序，因为实验室里有一台Lisp机器，家里没有。 剑桥时期的回忆 Hellermark：能不能把我们带回剑桥时期，试图理解人脑的经历？ Hinton：非常令人失望。我为了研究大脑，先是去学习生理学，但实际上他们只教了我们神经元如何传导动作电位……这非常有趣，但不是大脑工作的原理。于是我又转向了哲学，因为我以为他们会告诉我心灵是如何运作的，结果也是非常令人失望。最终，我选择到爱丁堡学习人工智能。 影响深远的书籍和导师 关键的启发 Hellermark：你还记得是什么激起了你对人工智能的兴趣吗？ Hinton：是唐纳德·赫布（Donald Hebb）的一本书，里面介绍了如何学习神经网络中的连接强度。早期我还读过约翰·冯·诺伊曼（John von Neumann）的一本书，书里介绍了大脑的计算方式以及大脑计算与普通计算机的区别。 导师和合作伙伴 Hellermark：你还记得以前经历过的合作吗？ Hinton：我在卡内基梅隆大学时曾与泰伦斯·塞诺夫斯基（Terry Sinofsky）有过许多交流，我们共同研究玻尔兹曼机。还有彼得·布朗（Peter Brown），他是一位非常优秀的统计学家，在IBM从事语音识别工作。他启发我采用“隐藏层”这一概念来描述神经网络中的中间层。 凭直觉思考的天才：Ilya Sutskever [...]

前言:最近,27岁的天才创业家Joel Hellermark与人工智能教父Geoffery Hinton进行了一次深入采访。Hinton在对话中回顾了自己的人工智能研究历程,并就神经网络、算力扩展、多模态学习、模拟计算等前沿话题进行了分享。他还谈及了自己的得意门生Ilya Sutskever在人工智能领域的杰出表现。 正文:一、从研究大脑到投身人工智能Hinton从英国来到美国卡内基梅隆大学后,凭借对大脑工作原理的好奇,开始投身人工智能领域的研究。他先后接触过唐纳德·赫布和约翰·冯·诺依曼的著作,深受启发。Hinton认为大脑的学习方式必然与传统的逻辑推理不同,因此必须探寻神经网络中连接权重调整的奥秘。 二、与合作伙伴的心灵相通Hinton回忆与泰伦斯·塞诺夫斯基、彼得·布朗等人的合作经历,他们一起探索了玻尔兹曼机等前沿技术,产生了许多有趣的研究成果。Hinton认为,与聪明的学生合作交流是最令人兴奋的,因为他们往往能提出突破性的想法。 三、Ilya Sutskever:凭直觉思考的天才Hinton特别提到了自己的得意门生Ilya Sutskever。Sutskever对人工智能充满热情,在反向传播算法上提出了独到见解。Hinton认为,Sutskever的直觉非常敏锐,常能发现问题的本质。在两人的合作中,Sutskever总能提出启发式的想法,推动研究不断前进。 四、数据规模与计算能力推动进步Hinton承认,早期他和团队曾低估了数据规模和计算能力的重要性。Ilya Sutskever很早就认识到,扩大模型规模是提升性能的关键。事实也证明,即使没有特殊设计,仅靠海量数据和计算能力,人工智能模型也能展现出推理能力。 五、多模态学习与创造力提升Hinton认为,多模态输入(如图像、视频、音频等)可以丰富模型对世界的理解,提升其创造力。因为这种学习方式更贴近人类的感知方式。他设想,未来的人工智能系统将能够从多角度理解同一事物,从而产生与人类不同的创新。 结语:Hinton的故事生动诠释了人工智能的发展轨迹,以及从单一算法到海量数据驱动的转变。他的经历也启示我们,保持好奇心和开放心态,不断探索,才是推动科技进步的关键所在。当下,人工智能正在重塑人类社会的方方面面,我们应该以积极、理性的态度拥抱这个时代的机遇与挑战。 [...]

在当前的人工智能研究领域，将大型语言模型（LLMs）的能力应用于解决复杂的强化学习问题是一个前沿且具有挑战性的课题。大型语言模型，如GPT系列、BERT等，已经在自然语言处理领域证明了其强大的信息处理和生成能力。这些模型通过在大规模数据上的预训练，能够捕捉到丰富的语言结构和知识。然而，当这些模型被直接应用于传统的强化学习任务时，如OpenAI Gym中的控制任务或Atari游戏，它们面临着一系列新的挑战和问题。 大模型在强化学习中的应用挑战 尽管LLMs在语言理解和生成方面表现出色，但它们在直接处理强化学习任务时往往表现出不确定性。这主要是因为强化学习的环境具有高度的动态性和不确定性，这与LLMs通常处理的更为静态的语言数据存在本质区别。在强化学习中，智能体需要根据与环境的交互不断调整其行为策略，这要求模型具备高度的适应性和决策能力。 此外，虽然LLMs能够通过精细的提示工程（prompt engineering）来引导模型完成特定的任务，但这种方法依赖于大量的手工调整和试验，且其成功往往受限于模型对提示的敏感性和解释能力。这种方法的效率低下且可扩展性有限，难以适应快速变化的强化学习环境。 知识编辑技术的潜力 为了克服这些挑战，研究人员开始探索知识编辑技术，即通过修改模型的内部知识表示来直接提高LLMs在特定任务上的性能。这种方法的核心思想是在不重新训练整个模型的前提下，通过精确的修改来增强模型的任务相关能力。 实践中的实现 实现知识编辑技术需要对LLMs的内部工作机制有深入的理解。例如，研究人员需要确定哪些部分的模型是存储和处理特定类型知识的，以及如何通过技术手段进行精确的修改。此外，还需要开发有效的算法来自动化这一过程，减少人工干预，并确保编辑操作不会破坏模型在其他任务上的性能。 最终，通过知识编辑技术，我们可以朝着创建更加智能和适应性强的语言模型迈进，这些模型不仅能够处理复杂的语言任务，还能有效地解决强化学习中的序列决策问题。这将大大扩展LLMs的应用范围，使其在游戏、机器人控制以及其他需要复杂决策的领域中发挥更大的作用。 在当今的人工智能研究领域中，如何有效地更新和优化大型语言模型（LLMs）已成为一个重要议题。下面我们将探讨四种主要的技术路线：参数高效的微调（PET）、知识增强（knowledge augmentation）、持续学习（continual learning）、以及机器遗忘（machine unlearning），这些技术路线在提升模型性能及其应用的可适应性方面起着关键作用。 参数高效的微调（PET） 参数高效的微调旨在通过只调整模型极小部分的参数来提升模型在特定任务上的表现，从而减少计算资源的消耗。这一技术的实现方式主要有三种：基于加法的方法、基于规范的方法和基于重参数化的方法。 知识增强 知识增强主要是针对LLMs在处理未知问题（如分布外或垂直细分领域问题）时的不足。检索增强生成（RAG）是一种流行的知识增强方法，它通过结合检索到的相关信息来增强模型的输出。RAG的核心思想是在模型的输入、中间层或输出端集成外部检索到的知识，从而提升模型的准确性和全面性。 持续学习 持续学习是指模型在学习新任务的同时，能够保持对旧任务的记忆。这一领域的研究主要集中在如何平衡模型的稳定性和可塑性，以及如何设计能够适应任务间和任务内分布变化的学习系统。持续学习的方法可以分为基于正则化、基于回放、基于表示、基于优化和基于架构的方法，每种方法都试图以不同的方式来缓解灾难性遗忘的问题。 机器遗忘 机器遗忘涉及到从模型中删除特定信息的需求，这通常是由于法律法规如GDPR或CCPA的要求。有效的机器遗忘方法需要能够在不重新训练整个模型的情况下，迅速准确地从模型中移除特定数据的影响。这一领域的方法通常分为两类：数据重组和模型操作。 这些技术路线各有其独特的优势和挑战。在实际应用中，通常需要根据具体需求和场景来选择合适的技术组合，以达到最佳的性能和效率。通过不断的研究和实验，这些技术有望为未来的人工智能发展提供更多可能性和灵活性。 知识编辑：弥补LLMs的不足 为了提高LLMs的准确性和适应性，研究者们开发了“知识编辑”技术。知识编辑的目的是在不重新训练整个模型的情况下，快速准确地修改模型中的特定知识。这种技术包括三个基本操作：知识插入、知识修改和知识擦除。 知识编辑的实现方法 知识编辑的实现通常分为三个阶段：识别、关联和掌握阶段。 每个阶段都有其特定的方法和技术挑战，例如在掌握阶段，如何避免模型在经过编辑后发生灾难性遗忘（catastrophic forgetting）是一个关键问题。此外，知识编辑的过程需要考虑到编辑的精确性和避免对模型其他功能的干扰。 [...]