SiLu（Sigmoid Linear Unit）激活函数，也被称为Swish激活函数，是一种自适应激活函数，最早由Google Brain在2017年引入[2]。SiLu激活函数是Sigmoid和ReLU的改进版，具备无上界有下界、平滑、非单调的特性。 SiLu激活函数的定义如下：f(x) = x * sigmoid(x) 其中sigmoid(x)是标准的Sigmoid函数，它的值在0和1之间。SiLu函数的特点包括非线性、连续可导，并且在负无穷到正无穷的范围内都有定义[1]。 SiLu激活函数在深度神经网络中的效果优于ReLU，可以看作是平滑的ReLU激活函数。它既有ReLU激活函数的一些优点（例如能够缓解梯度消失问题），又能解决ReLU函数的一些缺点（例如ReLU函数不是零中心的，且在负数部分的梯度为零）。此外，SiLu函数还是平滑函数，这意味着它在整个定义域内都有导数，有利于优化[1]。 在YOLOv5等深度学习模型中，SiLu激活函数被广泛应用，取得了良好的效果[1]。 Learn more:
在人工智能的浩瀚星海中，大型语言模型如同耀眼的恒星，它们的能力强大而深不可测。然而，这些模型的运作往往需要耗费巨大的计算资源，这也成为了阻碍AI技术广泛应用的一大障碍。今天，让我们一起探索那个改变游戏规则的创新项目——H2O。 引领潮流的创新：H2O的诞生 🌟 在NeurIPS’23大会上，一项名为H2O的研究引起了广泛关注。这是一种被称作“重点词神器”的技术，它使得大型语言模型的生成变得更加高效。那么，H2O到底是什么呢？ 简而言之，H2O是一种优化了的内存管理方案，它通过智能地管理键值（KV）缓存来减轻模型推理过程中的计算负担。KV缓存通常与序列长度和批量大小成线性关系，而H2O能够大幅减少这些缓存的内存占用。 精华所在：重点词的力量 💡 H2O的核心概念在于识别和利用了“重点词”——这些词在计算注意力得分时占有压倒性的重要性。研究者发现，这些词与文本中的频繁共现词强相关，若将它们从模型中移除，性能会大打折扣。H2O正是利用了这一洞察，通过平衡最近词和重点词，优化了KV缓存的管理。 实践证明：H2O的效能 🛠 H2O不仅在理论上前卫，它的实用性也已经在各种任务和不同规模的模型上得到了验证。 实验表明：在保留两成重点词的情况下： 通过H2O优化的大型模型在性能上可以实现高达29倍的吞吐量提升！ 这在当前领先的如DeepSpeed Zero-Inference、Hugging Face Accelerate和FlexGen等推理系统中表现尤为突出。 开源精神：与社区共建 🌐 值得庆幸的是，H2O项目已经在GitHub上开源，任何对AI充满热情的开发者和研究者都可以参与其中。无论是想提高你的语言模型生成效率，还是仅仅出于好奇，你都可以在这个平台上找到价值。 结语：跨越技术的鸿沟 ✨ 随着H2O的横空出世，那些曾经遥不可及的AI技术现在似乎触手可及。这个项目不仅仅是技术的飞跃，更是开启普通人使用强大AI工具的大门。让我们拭目以待，看看H2O将如何在未来的日子里，继续激起技术革新的波澜！
《H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models》 当我们谈论人工智能尤其是语言模型时，你可能会想象一个强大的机器，它能够写作、聊天，甚至创作诗歌。但这背后的真相是，这些模型的运行需要巨大的计算资源，尤其是在处理长篇内容时。然而，科技的步伐从未停歇，一个名为H2O的新工具出现了，它让大型语言模型的应用变得更加高效和便捷。 迈向更高效的未来：H2O的诞生 🌟 有鉴于大型语言模型（LLMs）在部署时所需成本的不断攀升，特别是在长内容生成如对话系统与故事创作领域，研究者们提出了一种全新的解决方案。这个解决方案的核心在于对所谓的KV缓存的智能管理。KV缓存是一种在GPU内存中存储临时状态信息的机制，其大小与序列长度和批处理大小成线性关系。但H2O通过一种创新的方法大幅度降低了KV缓存的内存占用。 重点词（Heavy Hitters）：H2O的核心思想 💡 H2O背后的一个关键发现是，在计算注意力得分时，只有少数的词语（我们称之为重点词，H2）占据了大部分的价值。研究表明，这些重点词的出现与文本中词语的频繁共现强烈相关，一旦去除这些重点词，模型的性能会显著下降。 基于这一发现，H2O采用了一种KV缓存淘汰策略，它动态地保留了最近的词和重点词之间的平衡。通过将KV缓存淘汰形式化为一个动态子模块问题，研究者们还为这一算法提供了理论上的保证。 高效实践：H2O的验证与实现 🛠 H2O不仅仅停留在理论上，它的有效性已经在多个任务和不同大小的模型（如OPT和GPT-NeoX）上得到了验证。使用H2O并将重点词的比例设为20%，在OPT-6.7B和OPT-30B上，相比于目前领先的三种推理系统——DeepSpeed Zero-Inference、Hugging Face Accelerate和FlexGen，吞吐量提高了多达29倍。 开源共享：H2O与社区的互动 🌐 H2O项目已在GitHub上开源，任何人都可以访问其代码仓库。项目提供了两种代码实现： 结语：技术的进步，让创新触手可及 ✨ H2O的出现，不仅是技术的一大步，更是人工智能领域里一个值得纪念的里程碑。它使得原本资源密集的大型语言模型变得更加亲民，让更多的开发者和用户能够享受到AI的好处。
🚀 作为AI世界的一位探险者，我们时常发现一些激动人心的突破，其中最新的一项就是PowerInfer。这项技术能够在个人计算机上利用普通的GPU进行高速的大型语言模型推断，这将为我们的生活带来怎样的改变呢？ 背景 Generative large language models (LLMs) 已经成为人们关注的焦点。这些模型在创造性写作、高级代码生成以及复杂的自然语言处理任务中表现出了卓越的能力。然而，传统上这些模型需要在配备高端昂贵的服务器级GPU的数据中心进行部署。与此同时，越来越多的人们希望在更易接触的本地平台上运行LLMs，尤其是配备消费级GPU的个人电脑。这种转变是由对增强数据隐私、模型定制化以及减少推断成本的需求驱动的。 然而，将LLMs部署在消费级GPU上也带来了重大挑战，主要是由于其巨大的内存需求。LLMs通常以自回归 Transformer 的形式顺序生成文本标记，每个标记需要访问包含数千亿参数的整个模型。因此，推断过程受到 GPU 内存容量的限制，特别是在本地部署中，每次处理单个请求时（通常一次只有一个请求）会留下极少的机会进行并行处理。 PowerInfer：改变游戏规则 PowerInfer是一种高速的 LL 微观形态推断系统，经过精心设计，能够利用LL推断中固有的高度局部性。它的关键想法是通过将频繁激活的神经元分配到 GPU，而将不经常激活的神经元分配到 CPU，从而最大程度地减少 GPU 的内存需求，提高推断速度。 快人一步：PowerInfer的内部工作原理 PowerInfer的工作原理基于两个关键见解：一是LL推断中存在的高局部性，二是CPU和GPU的协同执行。它通过离线和在线组件实现神经元分配策略，并结合神经元感知运算符，从而有效地管理GPU和CPU之间的计算负载。 实验结果 PowerInfer在高端PC上的表现令人印象深刻。与传统方法相比，PowerInfer的推断速度提高了7.23倍，具有显著的优势。在低端PC上，PowerInfer的性能提升略有降低，但仍然达到了5.01倍的提速。此外，PowerInfer还支持压缩后的LLMs，如INT4量化模型，其性能提升了2.89倍。此外，PowerInfer还支持不同的批处理大小，当批处理大小小于32时，PowerInfer的性能提升最为显著，达到了6.08倍的提速。 结语 PowerInfer的问世，为AI领域注入了新的活力，让人们看到了在个人计算机上进行高速大型语言模型推断的可能性。这项技术不仅提升了推断速度，还为本地部署提供了更加灵活的选择。我们对于未来这项技术的应用前景充满期待。 🌟 如果您对这篇文章有任何疑问或想了解更多细节，欢迎在评论区留言，我们将会不断分享更多有趣的技术内容。让我们一起期待AI技术带来的更多惊喜吧！
PowerInfer 提供了适用于个人计算机配备单个消费级GPU的高速大型语言模型（LLM）推理引擎。PowerInfer的关键创新在于利用LLM推理中固有的高局部性，其特点是神经元激活呈幂律分布。 利用这一见解，PowerInfer采用了GPU-CPU混合推理引擎，其中热激活的神经元预先加载到GPU上以实现快速访问，而冷激活的神经元则在CPU上计算，显著减少了GPU内存需求和CPU-GPU数据传输。此外，它集成了自适应预测器和神经元感知的稀疏运算符，优化了神经元激活和计算稀疏性的效率。 评估表明，PowerInfer在单个NVIDIA RTX 4090 GPU上实现了13.20个标记/秒的平均标记生成速率，峰值达到29.08个标记/秒，仅比顶级服务器级A100 GPU低18％。这种性能明显优于llama.cpp，性能提高了高达11.69倍，同时保持了模型的准确性。 特点 入门指南 推理 量化 论文和引用 PowerInfer的更多技术细节可以在他们的论文中找到。如果您发现PowerInfer对您的项目和研究有用或相关，欢迎引用他们的论文。 致谢 PowerInfer感谢llama.cpp等多个实体的支持和启发，THUNLP对ReLU稀疏模型的支持，以及Deja Vu对他们工作的启发。这种高速的大型语言模型服务解决方案为在配备消费级GPU的个人计算机上进行高效的LLM推理和部署提供了一种有前景的方法。
大家好！今天我要和大家分享一个名为BLIP-2的最新模型，它在网络上引起了轰动。这个模型不仅具备基本的”看图说话”功能，还可以写情诗、讲解剧情、设计图片中对象的对话等等。简直就是一位多才多艺的AI！举个例子，当你在网上看到一张诱人的美食图片时，只需将图片发送给BLIP-2，它就能立即识别出需要的食材和烹饪步骤。甚至连图片中隐藏的一些细节都能一清二楚地”看”出来。比如，当被问到如何从一幅倒着的房子的图片中离开，BLIP-2的回答是：侧面不是有滑梯嘛！ BLIP-2是一个全新的AI模型，它的全称是”Bootstrapping Language-Image Pre-training 2″，目前已经开源。与以往的研究不同，BLIP-2采用了一种通用的预训练框架，因此可以灵活地与各种语言模型进行对接。这项研究由Salesforce Research团队进行，其中之一的Steven Hoi表示，BLIP-2未来将成为”多模态版ChatGPT”。 BLIP-2的第一作者是Junnan Li，他也是一年前发布的BLIP项目的主要作者。目前，他是Salesforce亚洲研究院的高级研究科学家。他本科毕业于香港大学，博士毕业于新加坡国立大学。他的研究领域非常广泛，包括自我监督学习、半监督学习、弱监督学习以及视觉-语言相关的研究。 如果你对BLIP-2感兴趣，以下是它的论文链接和GitHub链接，大家可以自行查阅：论文链接：BLIP-2论文GitHub链接：BLIP-2 GitHub 参考链接：[1] 推特链接1[2] 推特链接2 希望大家对BLIP-2感到兴奋！这个模型的优秀表现真的让人惊叹，它为我们展示了语言和图像之间的无限可能性。让我们共同期待BLIP-2的未来发展！💪🤖
今天我要为大家讲解一个最近在图像生成领域持续热门的话题 – 扩散模型及其加速方法。内容安排如下: 第一部分 什么是扩散模型 第二部分 扩散模型的问题与DeepCache方法 第三部分 DeepCache的实现原理和策略 第四部分 DeepCache的实验结果 第五部分 DeepCache的代码实现 下面让我们一一进入这些内容。 第一部分 什么是扩散模型 扩散模型是一类基于深度神经网络的生成模型,可以生成逼真的图像。它的基本思路是,从一张随机噪声图像开始,通过多步推理逐步去除图像中的噪声,合成出清晰的图片。代表模型有Stable Diffusion等。 第二部分 扩散模型的问题与DeepCache方法 扩散模型需要进行多步计算,每一步都要运行完整的模型去噪,非常耗时。而在邻近去噪步骤中,模型深层特征变化很小。这启发了DeepCache方法。 DeepCache的核心思路是重用相似的深层特征,只更新浅层特征。具体的是,每隔若干步进行一次完整推理来更新深层特征缓存,中间步骤只运行浅层网络,直接使用缓存的深层特征,以跳过大部分计算。 第三部分 DeepCache的实现原理和策略 DeepCache利用了U型网络的跳过连接结构。在下采样和上采样中,通过跳过连接传递更多信息。作者发现,上采样时深层特征变化很小,主要采集了全局信息。所以可以重用深层特征缓存,只更新浅层特征。 DeepCache提出了均匀缓存和非均匀缓存两种策略。均匀缓存是固定每N步全网推理一次。非均匀缓存根据层特征变化情况动态调整不同层的缓存频率。 第四部分 DeepCache的实验结果 作者在多个模型上验证了DeepCache,包括Stable Diffusion、LDM和DDPM,都取得了显著的加速效果。仅用简单的均匀缓存,就可使Stable Diffusion加速2.3倍,几乎无损。 第五部分 DeepCache的代码实现 DeepCache的实现很简单,只需要用它提供的模型替换原始模型,接口调用方式不变,就可以实现加速效果。 以上是我对DeepCache方法的全面概述。它无需训练就可以轻松实现扩散模型的显著加速,是一个非常有价值的工作。更多细节我们可以在讨论时继续深入。如果有任何问题,欢迎同学们积极提出,我们一起讨论。 https://github.com/horseee/DeepCache
Mixtral-8x7B 背后的 MoE 技术 目录 正文 什么是专家混合（MoE）？ 模型的规模对于提升其质量至关重要。在有限的计算资源下，相较于用更多步骤训练一个小型模型，训练一个大型模型即便步骤更少效果通常更好。MoE 让模型以「远低于传统密集模型的计算成本」进行预训练，这意味着你可以在相同的计算预算下显著扩大模型或数据集的规模。特别是在预训练阶段，MoE 模型能比其同等规模的密集型模型更快地达到相同的性能水平。 那么，MoE 究竟是什么呢？在 Transformer 模型的背景下，MoE 主要由两个部分组成： 如何高效地将 Token 分配给合适的专家，是使用 MoE 技术时需要考虑的关键问题之一。路由器由一系列可学习的参数构成，它与模型的其他部分一起进行预训练。 MoE 的历史 MoE 的概念最早出现在 1991 年的论文《Adaptive Mixture of Local Experts》中。这一理念与集成方法相似，目的是通过监督程序管理一个由不同网络构成的系统，每个网络处理训练样本的一部分。每个单独网络或“专家”，都在输入空间的不同区域有其特长。由单独的门控网络决定每个专家的权重，在训练过程中，同时对专家和门控网络进行训练。 在 2010 至 2015 年间，两个不同的研究领域推动了 MoE 的进一步发展： 什么是稀疏性？ 稀疏性基于条件计算的概念。不同于密集模型中所有参数对所有输入都有效，稀疏性让我们能够只激活系统的部分区域。条件计算 (即网络的某些部分仅针对特定样本激活) 使得在不增加计算量的情况下扩大模型规模成为可能，从而在每层 MoE 中使用了数千名专家。 这种方法也带来了挑战。比如，虽然大批量处理通常能提高性能，但在 MoE 中，当数据通过活跃的专家时，实际的批量大小会减小。例如，如果我们的批量输入包含 10 个 Token，可能有 5 个 Token 由一个专家处理，另外 5 个 … Read more
大家好，今天，我们将深入探讨人工智能领域的一项重大进展——Mistral AI 发布的开源大语言模型。 Mistral AI 是一家成立于 2023 年的法国人工智能初创公司，致力于开发高效、低成本的人工智能技术。在 2023 年 12 月，Mistral AI 发布了一款名为 Mistral 8x7B 的开源大语言模型，这个模型只有 8 个专家和 7B 的参数，但它在许多基准测试中表现出色，甚至优于其他更大的语言模型。 这个模型的发布引起了业界的广泛关注，许多开发者和研究者对这个模型产生了浓厚的兴趣。在发布后的 24 小时内，已经有开发者做出了在线体验网站，这一快速的响应表明了开发者们对这个模型的高度关注和兴趣。 Mistral 8x7B 是一个基于 Transformer 架构的语言模型，它使用了与 GPT-4 非常相似的架构，但参数规模是 GPT-4 的约八分之一。这使得它更加轻便、高效，并且更容易在各种硬件平台上运行。 Mistral AI 的这一举措也引发了关于大语言模型的讨论。有人认为，随着技术的不断发展，大语言模型将变得越来越强大，并在各个领域发挥重要作用。但也有人对大语言模型的发展表示担忧，认为它们可能会带来隐私和安全问题。 无论如何，Mistral AI 的开源大语言模型为我们提供了一个新的视角，让我们看到了人工智能技术的发展趋势。在未来，我们期待看到更多类似的开源项目出现，推动人工智能技术的发展，为人类带来更多的福祉。
大家好，今天我将带领大家探索一篇名为《Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models》的论文。这篇论文由张力、杨彪、刘强、马志银、张硕、杨景旭、孙亚博、刘宇亮和白翔共同完成，他们来自华中科技大学和金山软件。这篇论文提出了一种训练高效的方法，可以在没有预训练的情况下将输入分辨率提高到896 x 1344像素。为了弥补简单文本标签和高分辨率输入之间的差距，他们提出了一种多级描述生成方法，可以自动提供丰富的信息，引导模型学习场景和对象之间的上下文关联。通过这两种设计的协同作用，他们的模型在多个基准测试中取得了出色的结果。与包括GPT4V在内的各种LMM进行比较，他们的模型在图像字幕生成方面表现出色，注重文本信息并捕捉图像中的细节；改进的输入分辨率也使得在文档图像处理中表现出色，尤其是处理密集文本。 接下来，我将逐步思考这篇论文，并详细解析其中的关键内容。 【分析思路】 让我们一步步来思考并详细解析吧！ 【引言】首先，让我们来看一下这篇论文的引言部分。这部分主要介绍了论文的主题，并概述了整篇论文的内容。Monkey模型是一个训练高效的方法，可以在没有预训练的情况下提高输入分辨率。为了解决简单文本标签和高分辨率输入之间的差距，论文提出了一种多级描述生成方法，可以为模型提供丰富的信息。通过这两种设计的协同作用，Monkey模型在多个基准测试中取得了出色的结果。接下来，我们将深入探讨Monkey模型的设计原理和优势。 【Monkey模型的设计】Monkey模型的设计是论文的核心内容之一。该模型通过两个关键设计来提高性能：提高输入分辨率和多级描述生成方法。 首先，让我们来看一下提高输入分辨率的方法。Monkey模型可以将输入分辨率提高到896 x 1344像素，而无需预训练。这是一个非常重要的突破，因为高分辨率输入可以帮助模型更好地理解图像中的细节和文本信息。这一设计在处理密集文本的文档图像中尤为重要。 接下来，让我们来看一下多级描述生成方法。这种方法可以自动提供丰富的信息，引导模型学习场景和对象之间的上下文关联。通过生成多级描述，模型可以更好地理解图像中的内容，并生成更准确和详细的描述。这种方法可以弥补简单文本标签和高分辨率输入之间的差距，提高模型的性能和表现。 【Monkey模型的优势】Monkey模型在多个任务中展现出了卓越的性能和表现。论文中列举了三个亮点： 这些优势使得Monkey模型成为一种非常有潜力的多模态模型，在图像处理和文本理解方面取得了显著的突破。 【演示和使用】接下来，让我们了解一下如何使用Monkey模型进行图像描述生成。论文中提供了两种演示方式：离线和在线。 对于离线演示，你需要下载模型权重，并将其路径配置到demo.py文件中。然后，通过运行python demo.py命令即可进行演示。 对于在线演示，你可以直接运行python demo.py -c echo840/Monkey命令，模型权重将在线下载。 为了生成更详细的描述，论文还提供了一些提示示例，你可以根据需要修改caption函数中的两个变量来实现不同的提示输入。 【总结和展望】最后，让我们来总结一下Monkey模型的贡献。通过提高输入分辨率和采用多级描述生成方法，Monkey模型在图像处理和文本理解方面取得了显著的突破，并在多个任务中展现出了优异的性能。 未来，我们可以进一步研究Monkey模型的潜力，并探索更多的应用场景。例如，结合强化学习算法，进一步提升模型在复杂场景中的表现；或者将Monkey模型应用于其他领域，如医疗图像分析或自动驾驶系统中。 感谢大家的收听！希望通过今天的节目，你们对Monkey模型有了更深入的了解。如果你对这个话题感兴趣，我鼓励你们阅读原文以获取更详细的信息。如果你有任何问题或想法，请随时在评论区留言。下期节目再见！🐵✨