InfoGaps | 信息差

嘿，朋友们！今天我们要聊的可是 AI 界的两位 「大明星」——朴素贝叶斯 （Naive Bayes） 和注意力机制 （At ... 阅读更多

在上周的文章 《Transformer 升级之路：12 、无限外推的 ReRoPE？》 中，我们介绍了 ReRoPE 和 Le ... 阅读更多

语言模型 （LLM） 在自然语言处理中的应用越来越广泛，而通过增大 Tokenizer 的词表来提高压缩率，从而缩短串 ... 阅读更多

近年来，Transformer 架构在自然语言处理领域取得了显著的成果，而 Attention 机制则是其核心所在。 ... 阅读更多

引言 前几天，笔者看了几篇介绍 SSM（State Space Model） 的文章，才发现原来自己从未认真了解过 ... 阅读更多

在当前大规模语言模型 （LLM） 的参数高效微调方法中，LoRA（Low-Rank Adaptation） 无疑是一 ... 阅读更多