GPT 的运用和训练
对 GPT 的运用和训练, 这里给出以下几点总结: GPT 已经非常强大了, 但仍存在诸多局限。合理使用与人工相结合是目 ... 阅读更多
AGI
斯坦福最新 Sophia 优化器比 Adam 快 2 倍
斯坦福大学最近发布了一篇研究论文，提出了一种名为 Sophia 的新型优化器，用于提高大型语言模型 （LLM） 的预训 ... 阅读更多
QLoRA: 高效 Finetuning 量化 LLMs
Dettmers 提出了一种高效的微调方法 QLoRA，它能够在保持完整的 16 位微调任务性能的同时，将内存使用量降 ... 阅读更多
VanillaNet: 极简主义的力量
最近，一篇名为 《VanillaNet: the Power of Minimalism in Deep Lea ... 阅读更多
知乎携手面壁智能推出全新开源大模型：CPM-Bee10b 登顶中文基座模型
2023 年 5 月 27 日，知乎在 2023 中国国际大数据产业博览会上发布了最新的大语言模型成果。知乎合伙人、首席技术 ... 阅读更多
ConvNeXt V2：使用遮罩自编码器共同设计和扩展 ConvNets
由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代 ... 阅读更多
大模型能力的 「涌现」 机制被谷歌发现
大型语言模型的涌现能力是一个黑箱，难以解释。尽管目前的研究已经开始揭示其中的一些机制，但我们仍然需要更深入的研 ... 阅读更多
InstructBLIP 抢跑看图聊天，开源项目横扫多项 SOTA
InstructBLIP 是一种指令感知的多模态基础模型, 通过微调 BLIP-2 和丰富指令微调数据获得。它在图像理 ... 阅读更多
BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近 GPT-4！
背景: 目前开源的大语言模型对多语言支持不够理想, 且大多数模型参数量不够大, 无法商用。而 SambaNova 和 To ... 阅读更多
RMT 突破 LLM 百万 Tokens 上下文长度
Scaling Transformer to 1M tokens and beyond with RMT 这份 ... 阅读更多