月度归档： 2024 年 5 月

导言：梯度流的神奇世界 在数学和机器学习的广袤世界中，有一个神秘的概念被称为 「梯度流 （Gradient Flo ... 阅读更多

大家好！今天我们要聊一聊一个有趣的概念，叫做 「梯度流 （Gradient Flow）」 。别紧张，这不是物理课，而 ... 阅读更多

嘿，朋友们！今天我们要聊的可是 AI 界的两位 「大明星」——朴素贝叶斯 （Naive Bayes） 和注意力机制 （At ... 阅读更多

在上周的文章 《Transformer 升级之路：12 、无限外推的 ReRoPE？》 中，我们介绍了 ReRoPE 和 Le ... 阅读更多

语言模型 （LLM） 在自然语言处理中的应用越来越广泛，而通过增大 Tokenizer 的词表来提高压缩率，从而缩短串 ... 阅读更多

近年来，Transformer 架构在自然语言处理领域取得了显著的成果，而 Attention 机制则是其核心所在。 ... 阅读更多

引言 前几天，笔者看了几篇介绍 SSM（State Space Model） 的文章，才发现原来自己从未认真了解过 ... 阅读更多