Scaling Transformer to 1M tokens and beyond with RMT 这份技术报告展示了循环记忆的应用，以扩展 BERT 的上下文长度，这是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用循环记忆 Transformer 架构，我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记，同时保持高记忆检索精度。我们的方法允许存储和处理局部和全局信息，并通过使用递归实现输入序列段之间的信息流。我们的实验证明了我们方法的有效性，这具有巨大的潜力来增强自然语言理解和生成任务的长期依赖处理，并为记忆密集型应用程序启用大规模上下文处理。 2304.11062.pdf (arxiv.org) [...]
移动互联网的App时代，导致了信息的孤岛化。一个个超级App，想将自己打造成综合体，用户无论需要什么，都可以不用离开App。 App们通过阻止搜索引擎的爬虫进入自己的“花园”，将用户圈定在自己的领地，从根本上破坏了互联网的开放共享的精神。 不过，随着AGI时代的到来，用户和应用的交互方式发生了根本性的变革。应用对用户的意图的理解能力获得了突飞猛进的增强。这使得GUI交互不在重要，文本和语言交互即将重新成为主流。 虽然GUI重新被LUI（语言UI）替代，App的优势不再存在。更进一步的是HTML5的不断成熟，性能和交互能力方面App的优势也被削弱。而随着AGI和搜索的结合，新一代搜索（new Bing）将重新把用户的注意力拉回搜索引擎。App们辛苦建立的花园围墙即将倒塌。 自媒体行业将迎来一次巨大的变革，海量的新创作者将进入淘金，而其中的大部分人什么也赚不到。虽然是这样，但是却事实上丰富了内容的生产。可惜的是其中大部分都是无脑的洗稿。 免费用户将被抛弃。以前，免费用户的价值，除了带来广告主以外，还有一个就是支持App内的用户互动生态。但是随着AGI的普及，大部分用户可能更愿意和AGI交流，而不是和普通人类。免费用户的互动价值降低，会导致很多App去社区化，进而影响流量的广告价值。最终，很多App不得不选择将大量的免费用户驱赶到会员等付费用户池，或者直接关闭对免费用户的使用权。正如很多网站不登录就不能使用一样。 这一切也预示着互联网精神的复兴。在AGI的帮助下，搜索引擎将再次成为信息的核心入口，打破各种信息孤岛，让用户更便捷地获取所需信息。同时，AGI技术可以帮助用户筛选出高质量的原创内容。洗稿使得人类创作者生存困难，免费内容质量劣化，进入迫使用户购买付费的专业内容。这都将使互联网回归其开放、共享的初衷，促进知识的传播与创新。 [...]
RWKV-LM 是一个开源的LLM，作者是PENG Bo 。 论文：RWKV: Reinventing RNNs for the Transformer Era chatRWKV 用RWKV做后端的类chatGPT项目。 RWKV cuda 支持AMD和CUDA平台的量化RWKV推理项目，无pytorch依赖。 rwkv.cpp 纯CPU部署RWKV高速量化推理。 RWKV Notebooks 一些相关的Jupyter Notebooks。 [...]