VanillaNet: 极简主义的力量

by

最近，一篇名为《VanillaNet: the Power of Minimalism in Deep Learning》的论文引起了广泛关注。该论文提出了一种名为VanillaNet的极简神经网络模型，该模型以其简单的结构和高性能表现出色。VanillaNet使用类似于LeNet和AlexNet的结构来达到或超越现有的视觉骨干网络。 VanillaNet的核心工作是如何在没有复杂链接和注意力机制的情况下，让一个浅层网络尽可能地提升精度。为了实现这一目标，VanillaNet采用了两个优化策略：深度训练（Deep training）策略和基于级数启发的激活函数。 在ImageNet上的实验结果显示，6层的VanillaNet可以超过ResNet-34，而13层的VanillaNet在ImageNet上达到了83%的top1精度，超过了几百层网络的性能，同时展示了出色的硬件效率优势。在相同精度时，VanillaNet的速度比Swin-S快了1倍以上。 该论文的研究成果为浅层神经网络的发展打开了新的大门，让我们重新思考深度神经网络性能提升的关键因素：深度、感受野、注意力机制还是参数量？尽管VanillaNet已在实际业务中得到应用，但它仍有很多提升空间，如预训练、蒸馏、结构优化等。这一成果为未来新架构和新应用带来了无限可能。

知乎携手面壁智能推出全新开源大模型：CPM-Bee10b 登顶中文基座模型

by

2023年5月27日，知乎在2023中国国际大数据产业博览会上发布了最新的大语言模型成果。知乎合伙人、首席技术官李大海宣布，知乎和面壁智能共同研发的中文基座大模型CPM-Bee10b全面开源，并发布了智能大模型产品“露卡”和知乎大模型应用功能“搜索聚合卡”。李大海表示，知乎将携手面壁智能，让中国用户在大模型时代享受到最优质的服务。 知乎与面壁智能首度合作，推出开源大模型CPM-Bee10b 在“2023知乎发现大会”上，知乎发布了大语言模型“知海图AI”并内测首个站内大模型应用功能“热榜摘要”。此举令知乎成为国内首批具备大语言模型能力的公司，并且让更多人开始关注知乎的技术发展。时隔一个月之后，知乎在2023数博会上再度带来惊喜。 知乎联合面壁智能发布了首个开源中英文基座大模型CPM-Bee 10b。李大海介绍，该模型从零开始自主训练，基于Transformer架构，中英双语表现优秀，拥有百亿量级参数、超过3万亿高质量语料。经过ZeroCLUE的评测，CPM-Bee10b 以平均 79.8 分登顶中文基座模型，并且英文基座模型得到了68的平均分。“CPM-Bee10b 将全面开源，并允许商用。”李大海称，面壁智能一直坚持开源路线，未来也会持续拥抱开源，促进大模型领域技术和生态的繁荣。 智能大模型产品“露卡”亮相，展现全面性能 发布会上，知乎还带了最新的智能大模型产品“露卡”（Luca）。该产品在开源基础模型上又有进一步性能提升，可以进行智能交互并支持多轮对话。从评测结果来看，有65%的结果性能等于或优于ChatGPT。在发布会现场演示中，“露卡”既展示了写文案、藏头诗、解数学题等“全科”能力，也能完成例如“如何制作毛血旺”等回答。令人惊喜的是，“露卡”还拥有图片理解能力，甚至可以查找论文并生成摘要，这表明“露卡”拥有非常优秀的多模态理解能力。 知乎推出大模型应用功能“搜索聚合卡”，助力用户高效获取信息 除了基础能力，知乎也是国内率先在应用层面探索大模型产品的公司。继“热榜摘要”之后，知乎带来了又一款站内的大模型应用功能“搜索聚合”。该产品将大模型能力应用到了知乎搜索上，每当用户触发搜索时，系统就会从大量提问和回答中聚合观点，提高用户获取信息、形成决策的效率。发布会当天，“露卡”和“搜索聚合”都开启了正式内测。李大海表示，知乎将继续夯实大模型基础能力，迭代应用产品，为让中国用户享受到一流的大模型服务而努力奋斗。 未来展望：知乎致力于为用户提供一流的大模型服务 本次发布会标志着知乎在大模型领域的技术实力再次得到了充分展示，同时也展现出知乎在人工智能领域的技术积累和创新能力。在与面壁智能的合作中，双方共同推进了大模型的研发，为中国用户带来了更多优质的服务。 未来，知乎将继续加强与各方的合作，进一步拓展大模型在实际应用中的价值。通过不断优化和升级大模型技术，以及与实际场景相结合的应用产品，知乎将努力成为大模型领域的引领者，让更多用户在大模型时代享受到一流的服务。

ConvNeXt V2：使用遮罩自编码器共同设计和扩展ConvNets

by

由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代卷积神经网络（ConvNets），以 ConvNeXt 为代表，在各种场景中表现出强大的性能。尽管这些模型最初是为具有 ImageNet 标签的监督学习设计的，但它们也可能从自监督学习技术（如遮蔽自动编码器（MAE））中受益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积遮蔽自动编码器框架和一个新的全局响应归一化（GRN）层，这个层可以添加到 ConvNeXt 架构中以增强通道间特征竞争。这种自监督学习技术和架构改进的共同设计产生了一个名为 ConvNeXt V2 的新模型族，它显著提高了纯粹的 ConvNets 在各种识别基准上的性能，包括 ImageNet 分类、COCO 检测和 ADE20K 分割。我们还提供了各种尺寸的预训练 ConvNeXt V2 模型，从参数数量为 370 万的高效 Atto 模型（在 ImageNet 上的 top-1 准确率为 76.7%），到使用公共训练数据达到最先进的 88.9% 准确率的 6.5 亿参数的 Huge 模型。 [2301.00808] ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders (arxiv.org)

大模型能力的“涌现”机制被谷歌发现

by

大型语言模型的涌现能力是一个黑箱，难以解释。尽管目前的研究已经开始揭示其中的一些机制，但我们仍然需要更深入的研究来更好地理解这些现象。 谷歌的这篇论文提供了有关语言模型的ICL行为如何随着模型参数而改变的重要见解，以及更大的语言模型具有将输入映射到许多类型的标签的涌现能力。这些发现表明，不同规模的语言模型在上下文学习能力方面存在着明显的差异。特别是，大型语言模型可以通过覆盖预先训练的语义知识和学习输入-标签映射来执行任务，而小型模型则更依赖于先验知识。 此外，研究者还发现，指令调优加强了语义先验知识的使用，而不是增加了学习输入-标签映射的能力。这些发现有助于我们更好地理解语言模型的涌现行为，同时也为未来的研究提供了方向，包括为什么这些现象会与模型参数规模相关等问题。 未来的研究可以探索不同类型的语言模型之间的差异，以及它们的涌现能力如何随着训练数据集的规模变化而改变。 此外，可以研究如何利用语义先验知识和输入-标签映射来设计更好的训练策略，以提高语言模型的性能。 最终，我们希望通过深入研究语言模型的涌现能力，能够更好地理解它们如何执行复杂的自然语言处理任务，并为未来的人工智能发展提供更好的基础。 论文地址：https://arxiv.org/pdf/2303.03846.pdf

InstructBLIP抢跑看图聊天，开源项目横扫多项SOTA

by

InstructBLIP是一种指令感知的多模态基础模型,通过微调BLIP-2和丰富指令微调数据获得。它在图像理解、推理和描述上有很强的表现,实现了SOTA,有更好的泛化能力。值得期待其在更广泛的数据集和任务上持续创新。 gfodor/instructblip-replicate: InstructBLIP replicate cog package (github.com) [2305.06500] InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning (arxiv.org)

BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！

by

背景:目前开源的大语言模型对多语言支持不够理想,且大多数模型参数量不够大,无法商用。而SambaNova和Together联合开源的BLOOMChat是一个支持46种语言、参数达1760亿的开源可商用微调模型。 BLOOMChat是一个完全开源、超千亿参数、专门针对多语言的聊天LLM。 sambanova/bloomchat: This repo contains the data preparation, tokenization, training and inference code for BLOOMChat. BLOOMChat is a 176 billion parameter multilingual chat model based on BLOOM. (github.com)

RMT 突破LLM百万Tokens上下文长度

by

Scaling Transformer to 1M tokens and beyond with RMT 这份技术报告展示了循环记忆的应用，以扩展 BERT 的上下文长度，这是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用循环记忆 Transformer 架构，我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记，同时保持高记忆检索精度。我们的方法允许存储和处理局部和全局信息，并通过使用递归实现输入序列段之间的信息流。我们的实验证明了我们方法的有效性，这具有巨大的潜力来增强自然语言理解和生成任务的长期依赖处理，并为记忆密集型应用程序启用大规模上下文处理。 2304.11062.pdf (arxiv.org)

AGI将复活互联网精神

by

移动互联网的App时代，导致了信息的孤岛化。一个个超级App，想将自己打造成综合体，用户无论需要什么，都可以不用离开App。 App们通过阻止搜索引擎的爬虫进入自己的“花园”，将用户圈定在自己的领地，从根本上破坏了互联网的开放共享的精神。 不过，随着AGI时代的到来，用户和应用的交互方式发生了根本性的变革。应用对用户的意图的理解能力获得了突飞猛进的增强。这使得GUI交互不在重要，文本和语言交互即将重新成为主流。 虽然GUI重新被LUI（语言UI）替代，App的优势不再存在。更进一步的是HTML5的不断成熟，性能和交互能力方面App的优势也被削弱。而随着AGI和搜索的结合，新一代搜索（new Bing）将重新把用户的注意力拉回搜索引擎。App们辛苦建立的花园围墙即将倒塌。 自媒体行业将迎来一次巨大的变革，海量的新创作者将进入淘金，而其中的大部分人什么也赚不到。虽然是这样，但是却事实上丰富了内容的生产。可惜的是其中大部分都是无脑的洗稿。 免费用户将被抛弃。以前，免费用户的价值，除了带来广告主以外，还有一个就是支持App内的用户互动生态。但是随着AGI的普及，大部分用户可能更愿意和AGI交流，而不是和普通人类。免费用户的互动价值降低，会导致很多App去社区化，进而影响流量的广告价值。最终，很多App不得不选择将大量的免费用户驱赶到会员等付费用户池，或者直接关闭对免费用户的使用权。正如很多网站不登录就不能使用一样。 这一切也预示着互联网精神的复兴。在AGI的帮助下，搜索引擎将再次成为信息的核心入口，打破各种信息孤岛，让用户更便捷地获取所需信息。同时，AGI技术可以帮助用户筛选出高质量的原创内容。洗稿使得人类创作者生存困难，免费内容质量劣化，进入迫使用户购买付费的专业内容。这都将使互联网回归其开放、共享的初衷，促进知识的传播与创新。

RWKV模型

by

RWKV-LM 是一个开源的LLM，作者是PENG Bo 。 论文：RWKV: Reinventing RNNs for the Transformer Era chatRWKV 用RWKV做后端的类chatGPT项目。 RWKV cuda 支持AMD和CUDA平台的量化RWKV推理项目，无pytorch依赖。 rwkv.cpp 纯CPU部署RWKV高速量化推理。 RWKV Notebooks 一些相关的Jupyter Notebooks。