InfoGaps | 信息差

在我们的日常生活中，数学问题无处不在，从简单的购物预算，到复杂的金融投资计算，都需要我们运用数学来解决。然而，对于许多人来说，数学问题可能并不是那么容易解决。那么，有没有一种方式，可以让计算机帮助我们解决这些问题呢？ 最近，来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种名为MAmmoTH的大型语言模型（LLM），专门针对解决数学问题。这个新模型充分利用了两个先前的数学解决方法，即CoT（思维链）和PoT（思维程序）。 在CoT方法中，问题通过一步步的自然语言描述来解决，这个方法的优点是能覆盖大多数数学科目，但在计算精度和复杂的数学或算法推理过程方面存在困难。而PoT方法则是通过编程的方式来解决问题，利用Python解释器来简化数学求解过程，但PoT在处理更抽象的推理场景时可能会遇到困难。 为了充分利用这两种方法的优点，研究团队创建了一个新的数学混合指令微调数据集MathInstruct，它广泛覆盖了不同的数学领域和复杂程度，并将CoT和PoT原理结合到一起。 为了测试这个新的数学模型，研究者们使用了一系列的数据集，包括GSM8K、MATH、AQuA-RAT、NumGLUE等，对模型进行了评估。结果显示，相比于之前的方法，MAmmoTH模型能更好地处理领域外的数据集，并能大幅提升开源LLM的数学推理能力。 这个新的数学模型MAmmoTH，不仅能够应对各种类型的数学问题，还能够在不同的数据集中都取得很好的效果，表现出了强大的泛化能力。这对于我们在日常生活中解决各种数学问题，甚至在更高层次的金融投资、科学研究等领域，都有着巨大的潜力和价值。 这项研究的代码已经在GitHub上开源，研究团队也在Hugging Face发布了训练好的不同大小的模型，供大家免费使用。如果你对数学问题感到头疼，或者你是一个对AI有着极高热情的研究者，那么这个新的数学模型MAmmoTH可能正是你需要的工具。 参考资料：论文：https://arxiv.org/pdf/2309.05653.pdf代码：https://github.com/TIGER-AI-Lab/MAmmoTH数据集与模型：https://huggingface.co/datasets/TIGER-Lab/MathInstruct

书生·浦语 目前开源的 20B模型性能超过了同参数规模竞争者。 更好的一点是，书生·浦语开源了训练和部署工具链。 Demo：书生·浦语-对话-20B · 模型库 (modelscope.cn) 相比其它竞争者，这个模型的背景也更加有实力，可持续性会更好。 InternLM/README-zh-Hans.md at main · InternLM/InternLM (github.com)

UC伯克利开源了 vLLM 这个大语言模型推理和服务引擎。 主要亮点包括: 主要技术亮点在于PagedAttention算法。它通过在非连续内存空间中存储注意力键值,有效管理内存。 使用vLLM可以很容易完成离线推理和在线部署,提供类似OpenAI API的服务。项目对于降低LLM服务的成本和难度具有重要意义,有利于更多机构和团队部署自己的LLM服务。vLLM是一个值得关注的开源项目,解决了LLM服务效率和可伸缩性方面的重大挑战。

近期，来自商汤、清华大学、上海人工智能实验室等机构的研究人员提出了一种全新的框架——Ghost in the Minecraft（GITM）。GITM可以将大语言模型与基于文本的知识和记忆整合在一起，在经典游戏《我的世界》中打造出通才AI智能体。这一研究为通用人工智能（AGI）的发展迈出了重要一步。 GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率，成功解锁了完整的科技树的262个物品。同时，GITM在最受关注的「获取钻石」任务上取得了67.5%的成功率，相比于目前最佳成绩（OpenAI VPT）提高了47.5%。GITM的训练效率也达到新高度，环境交互步数只需已有方法的万分之一，单一CPU节点训练2天即可完成。 GITM的成功突破有助于推动通用人工智能（AGI）的研究目标加速实现，发展出能够在开放世界环境中像人一样进行感知、理解和交互的智能体。这将为机器人和自动驾驶等产业带来巨大突破和进步，有效解决现实世界中复杂环境和各类长尾问题，推动AI技术更大规模的产业落地。 项目主页： https://github.com/OpenGVLab/GITM GITM能力和应用展望 GITM能够在《我的世界》中面对各类地形、环境、白天黑夜场景，甚至遇到怪物也能自如应对。GITM还可以进一步应用在《我的世界》更加复杂的任务中，如建造避难所、农田、铁傀儡，创造自动化设备所需的红石电路、进入下界所需的下界传送门等。 这些任务展示了GITM强大的能力和可扩展性，使得智能体能够在《我的世界》中长时间生存、发展，探索更加高级的世界。 商汤科技推进通用人工智能发展 作为全球人工智能领域的领军企业，商汤科技以「大模型+大算力」推进AGI（通用人工智能）发展的战略布局。商汤科技在多模态、多任务通用大模型领域快速发展，以「日日新SenseNova」大模型体系为核心，不断助力创新技术在智能汽车、智慧生活、智慧商业和智慧城市等领域的快速应用。 此外，商汤基于OpenDILab决策AI平台开发的AI模型DI-star在《星际争霸》中战胜了曾经的大中华区冠军，展示出强大的决策AI能力。GITM的成功将推动自动驾驶等应用处理复杂任务的能力更上一层楼，打破更高的技术天花板。

对GPT的运用和训练,这里给出以下几点总结: GPT已经非常强大了,但仍存在诸多局限。合理使用与人工相结合是目前应用的一个方向。提高模型本身和与模型交互的方式仍有很多可以改进的地方。 OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI – 知乎 (zhihu.com)

斯坦福大学最近发布了一篇研究论文，提出了一种名为Sophia的新型优化器，用于提高大型语言模型（LLM）的预训练效率。与目前广泛使用的Adam优化器相比，Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下，Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法，通过对Hessian矩阵对角线的廉价随机估计来作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。 关键概念 实验结果 实验结果表明，Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下，使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外，使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。