AGI

ConvNeXt V2：使用遮罩自编码器共同设计和扩展ConvNets

by

由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代卷积神经网络（ConvNets），以 ConvNeXt 为代表，在各种场景中表现出强大的性能。尽管这些模型最初是为具有 ImageNet 标签的监督学习设计的，但它们也可能从自监督学习技术（如遮蔽自动编码器（MAE））中受益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积遮蔽自动编码器框架和一个新的全局响应归一化（GRN）层，这个层可以添加到 ConvNeXt 架构中以增强通道间特征竞争。这种自监督学习技术和架构改进的共同设计产生了一个名为 ConvNeXt V2 的新模型族，它显著提高了纯粹的 ConvNets 在各种识别基准上的性能，包括 ImageNet 分类、COCO 检测和 ADE20K 分割。我们还提供了各种尺寸的预训练 ConvNeXt V2 模型，从参数数量为 370 万的高效 Atto 模型（在 ImageNet 上的 top-1 准确率为 76.7%），到使用公共训练数据达到最先进的 88.9% 准确率的 6.5 亿参数的 Huge 模型。 [2301.00808] ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders (arxiv.org)

大模型能力的“涌现”机制被谷歌发现

by

大型语言模型的涌现能力是一个黑箱，难以解释。尽管目前的研究已经开始揭示其中的一些机制，但我们仍然需要更深入的研究来更好地理解这些现象。 谷歌的这篇论文提供了有关语言模型的ICL行为如何随着模型参数而改变的重要见解，以及更大的语言模型具有将输入映射到许多类型的标签的涌现能力。这些发现表明，不同规模的语言模型在上下文学习能力方面存在着明显的差异。特别是，大型语言模型可以通过覆盖预先训练的语义知识和学习输入-标签映射来执行任务，而小型模型则更依赖于先验知识。 此外，研究者还发现，指令调优加强了语义先验知识的使用，而不是增加了学习输入-标签映射的能力。这些发现有助于我们更好地理解语言模型的涌现行为，同时也为未来的研究提供了方向，包括为什么这些现象会与模型参数规模相关等问题。 未来的研究可以探索不同类型的语言模型之间的差异，以及它们的涌现能力如何随着训练数据集的规模变化而改变。 此外，可以研究如何利用语义先验知识和输入-标签映射来设计更好的训练策略，以提高语言模型的性能。 最终，我们希望通过深入研究语言模型的涌现能力，能够更好地理解它们如何执行复杂的自然语言处理任务，并为未来的人工智能发展提供更好的基础。 论文地址：https://arxiv.org/pdf/2303.03846.pdf

InstructBLIP抢跑看图聊天，开源项目横扫多项SOTA

by

InstructBLIP是一种指令感知的多模态基础模型,通过微调BLIP-2和丰富指令微调数据获得。它在图像理解、推理和描述上有很强的表现,实现了SOTA,有更好的泛化能力。值得期待其在更广泛的数据集和任务上持续创新。 gfodor/instructblip-replicate: InstructBLIP replicate cog package (github.com) [2305.06500] InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning (arxiv.org)

BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！

by

背景:目前开源的大语言模型对多语言支持不够理想,且大多数模型参数量不够大,无法商用。而SambaNova和Together联合开源的BLOOMChat是一个支持46种语言、参数达1760亿的开源可商用微调模型。 BLOOMChat是一个完全开源、超千亿参数、专门针对多语言的聊天LLM。 sambanova/bloomchat: This repo contains the data preparation, tokenization, training and inference code for BLOOMChat. BLOOMChat is a 176 billion parameter multilingual chat model based on BLOOM. (github.com)

RMT 突破LLM百万Tokens上下文长度

by

Scaling Transformer to 1M tokens and beyond with RMT 这份技术报告展示了循环记忆的应用，以扩展 BERT 的上下文长度，这是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用循环记忆 Transformer 架构，我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记，同时保持高记忆检索精度。我们的方法允许存储和处理局部和全局信息，并通过使用递归实现输入序列段之间的信息流。我们的实验证明了我们方法的有效性，这具有巨大的潜力来增强自然语言理解和生成任务的长期依赖处理，并为记忆密集型应用程序启用大规模上下文处理。 2304.11062.pdf (arxiv.org)

思维链 — 展现解题过程的重要性

by

最近的大模型训练进展表明，正如人们学习数学的时候，解题思路很重要一样，大模型也可以通过生成解体思路来教会小模型很多。 思维链（CoT）训练大幅提升模型性能 (jieyibu.net)

chatGPT对软件技术栈的冲击将逐渐显现

by

软件研发的技术栈是逐步迭代形成的，其第一性原理是：通过技术栈对系统的复杂性就行分层控制。 由此可知，如果系统复杂性由于chatGPT类AI的介入，导致原来控制不了的，现在非常好控制的话，那么一些原来看起来简单的技术栈又会复兴。 以网站前端研发为例子，从最早的纯HTML到jQuery在到react/vuejs等，逐步复杂，其学习成本和难度也逐渐增加，但是对于越来越复杂的网站来说这是必要的。因为重写一个页面的成本太高了。 以网站后端研发为例子，从最早的perl到PHP再到Java微服务，无不是为了控制复杂的逻辑，将复杂度逐层逐块分解，放在不同的系统里控制起来，以便促进系统的平稳演化。 但是，现在chatGPT来了，如果一个prompt就可以写好一个PHP页面的话，谁还在乎每隔几周让AI重写一遍？ chatGPT等AI对软件研发的最大冲击根源是，复用的标的物从source code变成了prompt。这是很容易被忽略了，现在说似乎太早，但是，等到GPT-5/6发布的时候，一切就会非常明朗了！

Prompt Engineering的现在和未来

by

Prompt Engineering是现阶段AGI还不够智能的一个阶段性产物，但是很难判断这个阶段有多长。 如果在相当长的一段时间内，AGI的上下文能力都在100万Token以内的话，Prompt Engineering将长期存在并非常重要。 如果AGI的上下文能力达到10亿Token规模（和人类相当）那么就不再需要什么Prompt Engineering，取代Prompt Engineering将是纯粹的自然语言表达。

中文对话AI的关键障碍

by

近年来，随着OpenAI推出的chatGPT的火爆，越来越多的中国互联网巨头纷纷加入通用对话大语言模型（GPT）的研发领域。然而，对于这些大型模型，许多非业内人士可能并不了解其中的技术细节。实际上，这些模型的代码量并不大，结构的复杂也不过是很多层类似的Transformer不断重复而已。尽管训练大型模型的难度较大，但这并非无法克服的挑战。 真正的难题在于高质量语料的匮乏。中文互联网自从强制备案以来，逐渐枯萎，严格的审查制度使得中文表达的有效性降低，进一步导致语言的小圈子化。此外，各大互联网巨头主推App，纷纷筑起了信息高墙，使得搜索引擎爬取信息变得极为困难，甚至不可能，进而加剧了信息孤岛化现象。 在这种背景下，自媒体、营销号等无底线的抄袭和洗稿行为进一步破坏了创作者生态，使得优质长内容在中文互联网上几乎绝迹。目前，多学科、多专业的严肃长内容中文网站寥寥无几，知乎或许是其中的佼佼者。在这样的生态环境中，一切向钱看，各类文字创作如小说、故事、软文，往往成为割韭菜的盛宴。 面对如此严峻的现状，我们不禁要问：如何获取足够多的优质语料来训练中文大语言模型呢？巧妇难为无米之炊，这句古老的谚语似乎反映了当前的困境。最终，人们可能只能依赖将英文语料翻译成中文再进行模型训练的方法，但这样做究竟意义何在？难道仅仅是为了增加一个步骤吗？ 事实上，大型语言模型本来就具有跨语言理解语义的能力，但翻译过程中往往会带来语义损失。一种语言文字的生命力，实际上源于其承载的文化，尤其是科技文化。随着GPT-4等大语言模型的加持，英语的主导地位将得到空前的加强，甚至有朝一日成为全球唯一的活语言，而其他语种将快速走向式微。 这种情况和微软的dotnet平台上的C#语言与其他语言的演化过程颇为类似。 以下省略200字。