InfoGaps | 信息差

Blog

  • 书生·浦语 大语言模型确实很牛！

    书生·浦语 目前开源的 20B模型性能超过了同参数规模竞争者。

    更好的一点是，书生·浦语开源了训练和部署工具链。

    Demo：书生·浦语-对话-20B · 模型库 (modelscope.cn)

    相比其它竞争者，这个模型的背景也更加有实力，可持续性会更好。

    InternLM/README-zh-Hans.md at main · InternLM/InternLM (github.com)

  • Duplicator – WordPress迁移和备份插件

    Duplicator复制器是可用的最强大的迁移器。它使您能够：

    • 在域或主机之间移动、迁移或克隆 WordPress 网站，无需停机
    • 将实时站点下拉到本地主机进行开发
    • 将WordPress网站从一个主机转移到另一个主机
    • 手动备份WordPress网站或网站的一部分
    • 将活动站点复制到暂存区域，反之亦然
    • 捆绑整个WordPress网站，以便于重用或分发
    • 执行完整的WordPress迁移，而无需为混乱的导入/导出SQL脚本而苦恼

  • 从SD绘图开源项目的竞争看webui的构建

    stable-diffusion-webui Fooocus ComfyUI 这三个主流的SD绘图webui正在以不同的设计思路竞争。

    迭代速度显然起到的决定性作用。

    SD-webui和Fooocus采用了gradio来构建UI，迭代快捷，维护成本低。

    而ComfyUI采用复杂的nodejs技术栈来构建UI，虽然架构上更加先进，然而缺失去了快速添加功能的优势。

    从设计哲学上看，Fooocus聚焦在绘图本身的思路最为简洁和易用。

    这也是符合LLM时代的大趋势，即，WebUI变成LUI，语言UI。

    或者说，由于自然语言可以编程了，以prompt的形势，自然也就解放了很多传统UI禁锢的功能。ComfyUI试图以 计算图的方式来 把底层逻辑以Graph形式编程，这反而增加了复杂性，一旦复杂度上去，反而不如直接编码（Python）简单。

  • vLLM 加速LLM推理24倍

    UC伯克利开源了 vLLM 这个大语言模型推理和服务引擎。

    主要亮点包括:

    1. 使用新的PagedAttention注意力算法,可以有效管理注意力键值缓存,节省内存开销。
    2. 性能明显优于HuggingFace Transformers, 吞吐量提升24倍。
    3. 能够在GPU资源有限的情况下提供LLM服务。
    4. 能支持各种LLM模型架构,如GPT系列、LLaMA等。
    5. vLLM已经被用于Chatbot Arena和Vicuna LM模型的服务后端,提升吞吐量30倍。

    主要技术亮点在于PagedAttention算法。它通过在非连续内存空间中存储注意力键值,有效管理内存。

    使用vLLM可以很容易完成离线推理和在线部署,提供类似OpenAI API的服务。项目对于降低LLM服务的成本和难度具有重要意义,有利于更多机构和团队部署自己的LLM服务。vLLM是一个值得关注的开源项目,解决了LLM服务效率和可伸缩性方面的重大挑战。

  • 平均帧率稳定，但是掉帧的问题

    解决方案：

    • 显示器帧率配置了动态帧率？可以尝试关闭；
    • 低延迟模式打开没？可以在Nvidia显卡控制台打开reflex尝试下；gsync也可以关闭试一下；
    • 大小核心架构的CPU？可以用process lasso 来设置相关进程只使用大核心；
    • 内存频率设置太高？降低到默认频率试试；
    • 鼠标的回报速率是不是太高？可以设置到600fps；
    • 风扇是不是太脏了？散热问题？
    • 核心显卡到驱动是不是没有更新？有独立显卡时，别忘记更新核心显卡的驱动；

  • Ghost in the Minecraft：突破莫拉维克悖论，通用人工智能取得重要突破!

    近期，来自商汤、清华大学、上海人工智能实验室等机构的研究人员提出了一种全新的框架——Ghost in the Minecraft（GITM）。GITM可以将大语言模型与基于文本的知识和记忆整合在一起，在经典游戏《我的世界》中打造出通才AI智能体。这一研究为通用人工智能（AGI）的发展迈出了重要一步。

    GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率，成功解锁了完整的科技树的262个物品。同时，GITM在最受关注的「获取钻石」任务上取得了67.5%的成功率，相比于目前最佳成绩（OpenAI VPT）提高了47.5%。GITM的训练效率也达到新高度，环境交互步数只需已有方法的万分之一，单一CPU节点训练2天即可完成。

    GITM的成功突破有助于推动通用人工智能（AGI）的研究目标加速实现，发展出能够在开放世界环境中像人一样进行感知、理解和交互的智能体。这将为机器人和自动驾驶等产业带来巨大突破和进步，有效解决现实世界中复杂环境和各类长尾问题，推动AI技术更大规模的产业落地。

    项目主页： https://github.com/OpenGVLab/GITM

    GITM能力和应用展望

    GITM能够在《我的世界》中面对各类地形、环境、白天黑夜场景，甚至遇到怪物也能自如应对。GITM还可以进一步应用在《我的世界》更加复杂的任务中，如建造避难所、农田、铁傀儡，创造自动化设备所需的红石电路、进入下界所需的下界传送门等。

    这些任务展示了GITM强大的能力和可扩展性，使得智能体能够在《我的世界》中长时间生存、发展，探索更加高级的世界。

    商汤科技推进通用人工智能发展

    作为全球人工智能领域的领军企业，商汤科技以「大模型+大算力」推进AGI（通用人工智能）发展的战略布局。商汤科技在多模态、多任务通用大模型领域快速发展，以「日日新SenseNova」大模型体系为核心，不断助力创新技术在智能汽车、智慧生活、智慧商业和智慧城市等领域的快速应用。

    此外，商汤基于OpenDILab决策AI平台开发的AI模型DI-star在《星际争霸》中战胜了曾经的大中华区冠军，展示出强大的决策AI能力。GITM的成功将推动自动驾驶等应用处理复杂任务的能力更上一层楼，打破更高的技术天花板。

  • GPT的运用和训练

    对GPT的运用和训练,这里给出以下几点总结:

    1. GPT的训练流程大致可以分为四个阶段:预训练、监督式微调、奖励建模、强化学习。其中预训练是最耗时耗力的,需要大量数据和算力。
    2. 预训练是让模型学习通用的语言表示,然后通过微调来应用于特定任务。微调所需的数据会少很多。
    3. 相较于监督式微调,使用强化学习人类反馈的方式(RLHF)可以让模型在某些任务上表现更好。但成本也更高。
    4. 使用GPT时,可以通过精心设计prompt来引导模型输出满意的结果。也可以通过工具和插件,或微调模型来进一步提高性能。
    5. GPT更像是在模仿,而非真正理解。因此需要在prompt中更明确地指示模型输出正确结果。
    6. 在使用GPT时要小心注意偏见、错误信息等问题。最好结合人工监督来使用。
    7. GPT有很多有趣的功能和限制,如模拟思维过程、使用脑錯等。但仍需要进一步研究才能更好地使用。

    GPT已经非常强大了,但仍存在诸多局限。合理使用与人工相结合是目前应用的一个方向。提高模型本身和与模型交互的方式仍有很多可以改进的地方。

    OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI – 知乎 (zhihu.com)

  • 斯坦福最新Sophia优化器比Adam快2倍

    斯坦福大学最近发布了一篇研究论文，提出了一种名为Sophia的新型优化器，用于提高大型语言模型（LLM）的预训练效率。与目前广泛使用的Adam优化器相比，Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下，Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法，通过对Hessian矩阵对角线的廉价随机估计来作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。

    关键概念

    • Sophia优化器是一种新型优化器，用于提高大型语言模型的预训练效率。与Adam优化器相比，Sophia可以在相同的预训练损失下将训练时间减少约50%。
    • Sophia是一种轻量级二阶优化器，利用Hessian矩阵对角线的廉价随机估计作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。
    • 随着模型尺寸的增加，Sophia相对于Adam的优势变得越来越明显。在相同步数下，Sophia的验证损失优于Adam和Lion。
    • Sophia优化器可以无缝集成到现有的训练流程中，无需对模型架构或计算基础设施进行特殊修改。

    实验结果

    实验结果表明，Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下，使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外，使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。

  • QLoRA: 高效Finetuning 量化 LLMs

    Dettmers提出了一种高效的微调方法QLoRA，它能够在保持完整的16位微调任务性能的同时，将内存使用量降低到足以在单个48GB GPU上微调65B参数模型的程度。

    QLoRA通过在低秩适配器（LoRA）中将梯度反向传播到一个冻结的、4位量化的预训练语言模型。我们最优秀的模型家族，我们将其命名为Guanaco，在Vicuna基准测试中胜过之前所有公开发布的模型，达到了ChatGPT性能水平的99.3%，而仅需要在单个GPU上进行24小时的微调。QLoRA在不牺牲性能的前提下采用了许多创新技术来节省内存：

    （a）4位NormalFloat（NF4），一种对于正态分布权重来说，从信息理论角度具有最优性的新数据类型；

    （b）双重量化，通过量化量化常数来减少平均内存占用；

    （c）分页优化器，以管理内存峰值。我们使用QLoRA对超过1000个模型进行微调，在8个指令数据集中，对多种模型类型（LLaMA，T5）以及在常规微调中难以运行的模型规模（例如33B和65B参数模型）进行了详细的指令跟随和聊天机器人性能分析。

    结果表明，QLoRA在小型高质量数据集上的微调可以达到最先进的结果，即使使用比之前SoTA更小的模型。我们根据人类评估和GPT-4评估结果，对聊天机器人性能进行了详细分析，结果表明GPT-4评估是一种廉价且合理的人类评估替代方案。此外，当前的聊天机器人基准测试并不可靠，无法准确评估聊天机器人的性能水平。已发布了所有模型和代码，包括用于4位训练的CUDA内核。

    artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs (github.com)

  • VanillaNet: 极简主义的力量

    最近，一篇名为《VanillaNet: the Power of Minimalism in Deep Learning》的论文引起了广泛关注。该论文提出了一种名为VanillaNet的极简神经网络模型，该模型以其简单的结构和高性能表现出色。VanillaNet使用类似于LeNet和AlexNet的结构来达到或超越现有的视觉骨干网络。

    VanillaNet的核心工作是如何在没有复杂链接和注意力机制的情况下，让一个浅层网络尽可能地提升精度。为了实现这一目标，VanillaNet采用了两个优化策略：深度训练（Deep training）策略和基于级数启发的激活函数。

    在ImageNet上的实验结果显示，6层的VanillaNet可以超过ResNet-34，而13层的VanillaNet在ImageNet上达到了83%的top1精度，超过了几百层网络的性能，同时展示了出色的硬件效率优势。在相同精度时，VanillaNet的速度比Swin-S快了1倍以上。

    该论文的研究成果为浅层神经网络的发展打开了新的大门，让我们重新思考深度神经网络性能提升的关键因素：深度、感受野、注意力机制还是参数量？尽管VanillaNet已在实际业务中得到应用，但它仍有很多提升空间，如预训练、蒸馏、结构优化等。这一成果为未来新架构和新应用带来了无限可能。