「闭门造车」 之多模态模型方案浅谈
前言 大家好，今天我要和大家聊聊一个即便我闭门造车也能侃侃而谈的热门话题——多模态模型。近期 Google 的 Ge ... 阅读更多
以蒸馏的名义：「从去噪自编码器到生成模型」 重现江湖
前言 今天我们要聊的，是一篇名为 《Score identity Distillation: Exponenti ... 阅读更多
数字版 「疯牛病」：生成模型的自噬之路
引言 众所周知，不管是文本还是视觉领域，各种生成模型正在以无法阻挡的势头 「肆虐」 互联网。虽然大家都明白，实现真 ... 阅读更多
梯度流：从数学到魔法的奇幻旅程
导言：梯度流的神奇世界 在数学和机器学习的广袤世界中，有一个神秘的概念被称为 「梯度流 （Gradient Flo ... 阅读更多
梯度流与 Wasserstein 梯度流：从山顶滑雪到概率风景线
大家好！今天我们要聊一聊一个有趣的概念，叫做 「梯度流 （Gradient Flow）」 。别紧张，这不是物理课，而 ... 阅读更多
朴素贝叶斯与注意力机制：一场 「心有灵犀」 的邂逅
嘿，朋友们！今天我们要聊的可是 AI 界的两位 「大明星」——朴素贝叶斯 （Naive Bayes） 和注意力机制 （At ... 阅读更多
Transformer 升级之路：逆用 Leaky ReRoPE 解决推理成本问题
在上周的文章 《Transformer 升级之路：12 、无限外推的 ReRoPE？》 中，我们介绍了 ReRoPE 和 Le ... 阅读更多
增大 Tokenizer 词表：LLM 续写任务的新挑战与解决方案
语言模型 （LLM） 在自然语言处理中的应用越来越广泛，而通过增大 Tokenizer 的词表来提高压缩率，从而缩短串 ... 阅读更多
探索线性 Attention 的局限性：从 「集中注意力」 角度出发
近年来，Transformer 架构在自然语言处理领域取得了显著的成果，而 Attention 机制则是其核心所在。 ... 阅读更多