使用Firefly在单卡V100上对Qwen1.5进行SFT和DPO训练使用Firefly在单卡V100上对Qwen1.5进行SFT和DPO训练
引言 大语言模型(LLM)的训练一直是AI领域的热点话题。随着开源模型的不断涌现,如何对这些基础模型进行进一步 […] [...]
分类： AGI
ChatGPT论文写作助手:7小时完成论文的全方位指南ChatGPT论文写作助手:7小时完成论文的全方位指南
在当今快速发展的人工智能时代,ChatGPT作为一款强大的语言模型,正在revolutionizing学术写作 […] [...]
InfoBatch:无损训练加速的无偏动态数据剪枝方法InfoBatch:无损训练加速的无偏动态数据剪枝方法
1. 研究背景与动机 近年来,深度学习在计算机视觉领域取得了显著进展。然而,大多数先进方法都需要在超大规模数据 […] [...]
GraphRAG：智能摘要技术的新突破GraphRAG：智能摘要技术的新突破
在数字化时代，我们每天都在创造海量文本数据。如何从这些数据中提取有价值的信息并进行有效总结，成为了一个重要课题 […] [...]
探索GraphRAG：微软研究的新篇章探索GraphRAG：微软研究的新篇章
在人工智能的宏伟蓝图中，GraphRAG（Retrieval-Augmented Generation）技术以 […] [...]
探索DB-GPT：定义数据库的未来交互探索DB-GPT：定义数据库的未来交互
在这个信息爆炸的时代，数据库的管理和交互方式也在不断进化。今天，我们要介绍一个名为DB-GPT的开源项目，它正 […] [...]
UIO-LLMs：面向长文本的大语言模型无偏增量优化方法UIO-LLMs：面向长文本的大语言模型无偏增量优化方法
摘要 大型语言模型（LLMs）在处理长文本时，由于上下文窗口大小的限制，面临着巨大挑战。本文介绍了一种名为UI […] [...]
基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）和无模型强化学习（Model-Free Reinforcement Learning, MFRL）基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）和无模型强化学习（Model-Free Reinforcement Learning, MFRL）
强化学习（RL）可以大致分为两大类：基于模型的强化学习（Model-Based Reinforcement L […] [...]
强化学习的AC类算法（Actor-Critic Algorithms）强化学习的AC类算法（Actor-Critic Algorithms）
在强化学习中，AC类算法（Actor-Critic Algorithms）是非常重要的一类方法。这些算法结合了 […] [...]