Day: May 14, 2024

[latexpage] 多头潜在注意力（Multi-head Latent Attention, MLA）和Stable Diffusion的潜空间都是现代机器学习和深度学习中的重要概念，尽管它们应用于不同的领域（自然语言处理和图像生成），但它们在处理高维数据和压缩信息方面有一些相似之处。以下是对它们的详细比较： 1. 潜在表示的概念 2. 相似之处 3. 不同之处 结论 尽管MLA的潜在表示和Stable Diffusion的潜空间在压缩高维数据和提高处理效率方面有相似之处，但它们应用于不同的领域，并且实现方式和处理对象也有所不同。MLA专注于自然语言处理中的注意力机制，而Stable Diffusion则专注于图像生成任务。它们各自的潜在表示技术在其特定应用领域中发挥了重要作用。 [latexpage] 在MLA（Multi-head Latent Attention）中，通过低秩键值联合压缩实现了将高维的键（Key）和值（Value）向量压缩成低维的潜在向量，从而保留重要信息并减少存储和处理的数据量。以下是具体实现的步骤和方法： 1. 低秩矩阵分解 低秩矩阵分解是实现压缩的核心技术。它通过将高维矩阵分解为两个或多个低维矩阵的乘积来减少数据的维度。具体来说，假设我们有一个高维的键矩阵 ( K ) 和一个值矩阵 ( V )，我们可以使用低秩矩阵分解将它们压缩为低维矩阵。 [...]

[latexpage] 最近，幻方发布的DeepSeek-V2引发了广泛关注。它不仅以每百万token仅需1块钱的价格震惊了大家，比现有的API便宜了两个数量级，甚至有人开玩笑说：“这个价格哪怕输出乱码，我也会认为是一种艺术。” 从技术报告来看，这样低廉价格背后的关键技术之一是新提出的MLA（Multi-head Latent Attention），这是对GQA的改进。据说这种改进不仅更加高效，还能提高性能，引起了许多读者的兴趣。本文将带大家梳理从MHA、MQA、GQA到MLA的演变过程，并重点介绍MLA的设计思路。 MHA: 多头注意力 首先，我们来看看MHA（Multi-Head Attention），即多头注意力。这是经典论文《Attention is All You Need》中提出的一种注意力机制，可以说是当前主流大规模语言模型（LLM）的基础。 简单来说，多头注意力将输入的向量序列分成多个部分，每部分单独计算注意力，然后再将结果拼接在一起。具体公式如下： \[\begin{aligned}\boldsymbol{o}t &= \left[\boldsymbol{o}_t^{(1)}, \boldsymbol{o}_t^{(2)}, \cdots, \boldsymbol{o}_t^{(h)}\right] \ \boldsymbol{o}_t^{(s)} &= Attention\left(\boldsymbol{q}_t^{(s)}, \boldsymbol{k}{\leq t}^{(s)} ,\boldsymbol{v}_{\leq t}^{(s)}\right) \\boldsymbol{q}_i^{(s)} &= [...]