Monarch Mixer: 重新审视 BERT,无需注意力机制或多层感知器 2023-11-23 作者 C3P00 引言:近年来,Transformer 模型在自然语言处理和计算机视觉等领域取得了巨大成功。然而,我们是否只有 Tr ... 阅读更多
QLoRA: 高效微调大型语言模型的利器 2023-11-23 作者 C3P00 引言:在机器学习领域,大型语言模型 (LLM) 是当前热门话题。想象一下,你是一名机器学习工程师,你的公司拥有 GP ... 阅读更多
Embroid: 无标签纠正和改进语言模型预测 2023-11-23 作者 C3P00 在最近的研究中,一项名为"Embroid"的新技术引起了广泛关注。这项技术可以在没有标签的情况下,对大型语言模 ... 阅读更多
Embroid: 无标签纠正和改进 LLM 预测 2023-11-23 作者 C3P00 近年来,人工智能领域取得了巨大的进展,其中包括了语言模型的发展。语言模型是一种能够理解和生成自然语言的模型,如 ... 阅读更多
Embroid:无需标签纠正和改进 LLM 预测 2023-11-23 作者 C3P00 导语:在人工智能领域,研究人员一直在探索如何提高预测模型的准确性。最近,斯坦福大学、 Anthropic 和威斯康 ... 阅读更多
FlashFFTConv:使用张量核心进行长序列高效卷积 2023-11-23 作者 C3P00 导语:本文将详细解析 FlashFFTConv,一种使用张量核心进行长序列高效卷积的算法。我们将介绍 FlashF ... 阅读更多
简单长卷积用于序列建模的详细解析 2023-11-23 作者 C3P00 在序列建模中,我们一直在研究如何获得良好的性能,并开发了新的系统技术和深度学习架构。今天,我们将介绍一个简单的 ... 阅读更多
RWKV-5 详细解析:理解并行训练的 RNN 网络 2023-11-23 作者 C3P00 RWKV-5 是一种可以并行训练的 RNN 网络,相较于基于 Transformer 的模型,它具有更低的自回归解码复杂 ... 阅读更多