Day: May 30, 2023

近期，来自商汤、清华大学、上海人工智能实验室等机构的研究人员提出了一种全新的框架——Ghost in the Minecraft（GITM）。GITM可以将大语言模型与基于文本的知识和记忆整合在一起，在经典游戏《我的世界》中打造出通才AI智能体。这一研究为通用人工智能（AGI）的发展迈出了重要一步。 GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率，成功解锁了完整的科技树的262个物品。同时，GITM在最受关注的「获取钻石」任务上取得了67.5%的成功率，相比于目前最佳成绩（OpenAI VPT）提高了47.5%。GITM的训练效率也达到新高度，环境交互步数只需已有方法的万分之一，单一CPU节点训练2天即可完成。 GITM的成功突破有助于推动通用人工智能（AGI）的研究目标加速实现，发展出能够在开放世界环境中像人一样进行感知、理解和交互的智能体。这将为机器人和自动驾驶等产业带来巨大突破和进步，有效解决现实世界中复杂环境和各类长尾问题，推动AI技术更大规模的产业落地。 项目主页： https://github.com/OpenGVLab/GITM GITM能力和应用展望 GITM能够在《我的世界》中面对各类地形、环境、白天黑夜场景，甚至遇到怪物也能自如应对。GITM还可以进一步应用在《我的世界》更加复杂的任务中，如建造避难所、农田、铁傀儡，创造自动化设备所需的红石电路、进入下界所需的下界传送门等。 这些任务展示了GITM强大的能力和可扩展性，使得智能体能够在《我的世界》中长时间生存、发展，探索更加高级的世界。 商汤科技推进通用人工智能发展 作为全球人工智能领域的领军企业，商汤科技以「大模型+大算力」推进AGI（通用人工智能）发展的战略布局。商汤科技在多模态、多任务通用大模型领域快速发展，以「日日新SenseNova」大模型体系为核心，不断助力创新技术在智能汽车、智慧生活、智慧商业和智慧城市等领域的快速应用。 此外，商汤基于OpenDILab决策AI平台开发的AI模型DI-star在《星际争霸》中战胜了曾经的大中华区冠军，展示出强大的决策AI能力。GITM的成功将推动自动驾驶等应用处理复杂任务的能力更上一层楼，打破更高的技术天花板。 [...]

对GPT的运用和训练,这里给出以下几点总结: GPT已经非常强大了,但仍存在诸多局限。合理使用与人工相结合是目前应用的一个方向。提高模型本身和与模型交互的方式仍有很多可以改进的地方。 OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI – 知乎 (zhihu.com) [...]

斯坦福大学最近发布了一篇研究论文，提出了一种名为Sophia的新型优化器，用于提高大型语言模型（LLM）的预训练效率。与目前广泛使用的Adam优化器相比，Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下，Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法，通过对Hessian矩阵对角线的廉价随机估计来作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。 关键概念 实验结果 实验结果表明，Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下，使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外，使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。 [...]