Day: August 3, 2024

在当今信息爆炸的时代，如何从海量数据中快速、准确地获取所需信息已成为一个巨大挑战。传统搜索引擎虽然功能强大，但往往难以理解用户的复杂意图，无法提供深入的知识探索。而随着大型语言模型（Large Language Models, LLMs）的飞速发展，一种全新的AI搜索引擎应运而生，它不仅能够理解用户的问题，还能模仿人类思维进行深度推理和探索。这就是由中国科学家团队开发的开源AI搜索引擎框架——MindSearch（中文名：思·索）。 突破性技术：模仿人脑的多步骤信息检索 MindSearch的核心理念是模仿人类大脑的思维方式。当我们遇到一个复杂问题时，往往会将其分解为多个子问题，然后逐一解决。MindSearch正是采用了这种方法，它通过一个名为WebPlanner的组件，将用户的查询动态地分解为一系列子问题节点，构建成一个复杂的知识图谱。 “MindSearch的独特之处在于它能够像人脑一样，不断扩展和深化对问题的理解，”项目负责人陈泽辉博士解释道，”它会根据Web搜索的结果，不断地在知识图谱中添加新的节点和连接，从而逐步构建出一个全面而深入的解决方案。” 论文中详细介绍了MindSearch的两个核心组件：WebPlanner和WebSearcher。WebPlanner扮演着高层次规划者的角色，负责编排推理步骤并协调多个WebSearcher。而WebSearcher则负责执行具体的网络搜索任务，并为WebPlanner提供有价值的信息摘要。 WebPlanner：通过图构建实现智能规划 WebPlanner的工作原理可以概括为”通过编码进行规划”（Planning via Graph Construction）。具体来说，WebPlanner将问题解决过程建模为一个有向无环图（DAG）的构建过程。给定一个用户问题Q，解决方案轨迹被表示为G(Q) = ，其中V是一组节点v，每个节点代表一个独立的网络搜索，包括一个辅助的START节点（初始问题）和一个END节点（最终答案）。E代表节点之间的有向边，表示推理的拓扑关系。 为了让语言模型更好地理解和操作这个图结构，研究团队采用了一种巧妙的方法：通过代码生成来实现图的构建和操作。他们预定义了一系列原子代码函数，用于向图中添加节点或边。在每一轮交互中，语言模型首先阅读整个对话历史，包括之前生成的代码和网络搜索结果，然后输出思考过程和新的代码，用于在思维图上进行推理。这些代码随后由Python解释器执行。 “这种’代码即规划’的过程充分利用了语言模型在代码生成方面的优势，”论文作者解释道，”它不仅提高了长上下文场景下的控制和数据流管理能力，还能更好地解决复杂问题。” WebSearcher：分层检索策略 WebSearcher作为一个具有互联网访问能力的复杂RAG（检索增强生成）代理，负责根据搜索结果总结有价值的响应。面对网络上海量的内容，WebSearcher采用了一种巧妙的粗到细的选择策略，以解决语言模型在有限上下文长度（如8K tokens）内处理大量相关页面的挑战。 具体来说，WebSearcher的工作流程包括以下几个步骤： “这种分层检索方法显著降低了导航海量网页的难度，”论文指出，”它能够高效地提取高度相关的信息，同时保持深入的细节。” 长上下文管理：多代理框架的优势 MindSearch采用的多代理框架不仅提供了一个简单而有效的解决方案，还自然而然地实现了长上下文的管理。这种方法极大地提高了框架的整体效率，特别是在需要模型快速阅读大量网页的情况下。 由于WebPlanner将搜索任务分配给单独的搜索代理，并且只依赖于WebSearcher返回的搜索结果，因此WebPlanner可以专注于问题的分解和分析，而不会被过长的网络搜索结果分散注意力。同时，每个WebSearcher只需要搜索其被分配的子查询的内容，不会受到其他内容的干扰。 “这种显式的角色分配大大减少了整个过程中的上下文计算，”研究团队强调，”为语言模型处理长上下文任务提供了一个高效的解决方案。” 最终，MindSearch能够在不到3分钟的时间内收集和整合来自300多个页面的相关信息，这对人类专家来说可能需要约3小时才能完成类似的认知工作量。 实验结果：卓越性能的证明 为了评估MindSearch的性能，研究团队进行了全面的实验，包括开放集问答和封闭集问答两类任务。 在开放集问答任务中，研究人员精心设计了100个涵盖各个领域的现实问题，并邀请5位专家对ChatGPT-Web、Perplexity.ai（Pro版本）和MindSearch三种AI搜索引擎的表现进行评分。评估标准包括回答的深度、广度以及事实准确性。 [...]

在当今信息爆炸的时代,如何快速准确地获取所需信息已成为人们面临的一大挑战。传统搜索引擎虽然功能强大,但往往难以理解用户的真实意图,无法提供深入的知识探索。而随着人工智能技术的飞速发展,一种全新的AI搜索引擎应运而生,它不仅能够理解用户的问题,还能模仿人类思维进行深度推理和探索。这就是由中国科学家团队开发的开源AI搜索引擎框架——MindSearch。 突破性技术:模仿人脑思维的AI搜索 MindSearch的核心理念是模仿人类大脑的思维方式。当我们遇到一个复杂问题时,往往会将其分解为多个子问题,然后逐一解决。MindSearch正是采用了这种方法,它会将用户的查询动态地分解为一个个子问题节点,构建成一个复杂的知识图谱。 “MindSearch的独特之处在于它能够像人脑一样,不断扩展和深化对问题的理解,”项目负责人陈泽辉博士解释道,”它会根据Web搜索的结果,不断地在知识图谱中添加新的节点和连接,从而逐步构建出一个全面而深入的解决方案。” 这种动态图构建的过程使得MindSearch能够处理各种复杂的查询,从日常生活中的简单问题到专业领域的深度探讨,都能给出令人满意的答案。更重要的是,MindSearch不仅给出结果,还会展示整个思考过程,包括搜索关键词、推理路径等,这极大地提高了回答的可信度和可解释性。 卓越性能:超越现有AI搜索引擎 为了评估MindSearch的性能,研究团队进行了一项全面的对比实验。他们精心设计了100个涵盖各个领域的现实问题,并邀请5位专家对ChatGPT-Web、Perplexity.ai(Pro)和MindSearch三种AI搜索引擎的表现进行评分。评估标准包括回答的深度、广度以及生成响应的准确性。 实验结果令人振奋:MindSearch在所有三个维度上都显著优于其他两种搜索引擎。特别是在深度和广度方面,MindSearch的表现尤为突出,充分体现了其强大的知识探索能力。 “MindSearch能够通过分析数百个网页,提供更加全面和深入的答案,”陈博士自豪地说,”这使得它在处理复杂查询时,能够给出远超其他AI搜索引擎的详细解释和见解。” 灵活部署:打造个性化AI搜索引擎 MindSearch的另一大亮点是其开源和灵活性。任何个人或组织都可以轻松部署MindSearch,打造属于自己的AI搜索引擎。系统支持多种大型语言模型(LLM),既可以使用GPT、Claude等闭源模型,也可以选择InternLM2.5-7b-chat等开源模型。 部署MindSearch只需简单的几个步骤: 这种灵活的部署方式使得MindSearch可以适应各种不同的应用场景和需求。无论是个人用户、小型团队还是大型企业,都可以根据自身需求定制专属的AI搜索引擎。 多样化界面:满足不同用户需求 考虑到不同用户的偏好和使用环境,MindSearch提供了多种用户界面选择: “我们希望MindSearch能够服务于各类用户,”项目团队成员刘奎坤表示,”无论是普通用户、研究人员还是开发者,都能找到最适合自己的使用方式。” 深度知识探索:解锁信息海洋 MindSearch的一大特色是其强大的深度知识探索能力。传统搜索引擎往往只能提供表面的信息,而MindSearch则能够进行更加深入的挖掘。 以一个复杂的科学问题为例:”量子计算机如何影响现代密码学?”传统搜索引擎可能只会返回一些零散的文章链接。而MindSearch会首先将这个问题分解为几个子问题: 然后,MindSearch会针对每个子问题进行深入搜索和分析,最终综合出一个全面而深入的答案。这个过程不仅能够提供详细的解释,还能揭示问题之间的内在联系,帮助用户建立起完整的知识体系。 “MindSearch就像一位tireless的研究助手,”一位参与测试的密码学专家评价道,”它不仅能回答你的问题,还能引导你思考更多相关的问题,真正帮助你深入理解一个复杂的主题。” 透明的解决方案:建立信任与理解 在人工智能日益普及的今天,AI系统的”黑盒”特性常常引发用户的担忧。很多人不理解AI是如何得出结论的,因此对其回答持怀疑态度。MindSearch巧妙地解决了这个问题,它不仅给出答案,还会展示整个思考过程。 具体来说,MindSearch会提供以下信息: “这种透明度大大提高了用户对AI回答的信任度,”项目团队成员王秋晨解释道,”用户可以清楚地看到每一步推理,甚至可以自己验证信息来源的可靠性。这不仅增强了可信度,还能帮助用户更好地理解复杂问题。” 技术创新:动态图构建算法 MindSearch的核心技术之一是其独特的动态图构建算法。这个算法模仿了人类解决问题的思维方式,通过不断扩展和优化知识图谱来探索复杂问题。 算法的工作流程大致如下: “这个算法的优势在于它能够自适应地处理各种复杂度的问题,”陈博士解释道,”对于简单问题,它可能只需要很少的迭代就能给出满意的答案。而对于复杂问题,它会不断深入探索,直到构建出一个全面的知识网络。” 这种动态图构建方法使得MindSearch在处理开放域问题时表现出色。无论是跨学科的复杂主题,还是需要多角度分析的社会问题,MindSearch都能给出深入而全面的解答。 [...]

在人工智能快速发展的今天,大语言模型(LLM)已成为各行各业数字化转型的重要推动力。然而,如何快速有效地对这些庞大的模型进行定制化训练,一直是困扰许多企业和开发者的难题。近日,ModelScope团队推出的SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)框架,为这一难题提供了优雅的解决方案。 全面覆盖的模型支持 SWIFT最引人注目的特点之一,是其对大语言模型的广泛支持。据ModelScope团队介绍,SWIFT目前支持300多种LLM和50多种多模态大模型(MLLM)的训练、推理、评测和部署。这些模型涵盖了目前业界主流的开源大模型,如Qwen、ChatGLM、Llama、InternLM等系列。 值得一提的是,SWIFT不仅支持各种规模的基础模型,还支持针对特定任务优化的模型变体。例如,它支持代码生成模型如CodeGeeX,支持数学问题求解模型如DeepSeek-Math,还支持长文本处理模型如Xverse-256K等。这种全面的模型支持,使得开发者可以根据实际需求选择最适合的模型进行微调。 丰富的训练方法 在训练方法上,SWIFT提供了多种选择,以适应不同的硬件条件和训练需求。最基本的全参数微调(Full-parameter Fine-tuning)适用于拥有充足计算资源的场景。对于计算资源有限的情况,SWIFT实现了包括LoRA、QLoRA、AdaLoRA等在内的多种参数高效微调(PEFT)方法。 此外,SWIFT还支持一些新颖的训练技术,如NEFTune(Noisy Embeddings Improve Instruction Finetuning)。这种方法通过在训练过程中给词嵌入添加噪声,可以显著提升模型性能。对于需要处理超长文本的场景,SWIFT还提供了LongLoRA等专门的训练方法。 值得一提的是,SWIFT不仅支持监督式微调(SFT),还支持人类反馈强化学习(RLHF)中的DPO(Direct Preference Optimization)算法。这使得开发者可以更好地将人类偏好引入模型训练过程,提升模型输出的质量和可控性。 便捷的训练流程 SWIFT的另一大亮点是其简化的训练流程。开发者只需几行命令,就可以启动训练任务。例如,要使用LoRA方法对Qwen-7B-Chat模型进行微调,只需运行如下命令: 这种简洁的命令行接口大大降低了使用门槛,使得即使是对深度学习不太熟悉的开发者也能快速上手。对于更复杂的训练需求,SWIFT还提供了丰富的配置选项,可以通过命令行参数或配置文件灵活调整。 高效的分布式训练 面对越来越大的模型规模,单卡训练已经难以满足需求。SWIFT在这方面也做了充分准备,支持多种分布式训练方案。最基本的是数据并行(DDP),可以在多GPU上进行高效训练。对于超大模型,SWIFT还支持模型并行(MP)和Pipeline并行。 更进一步,SWIFT集成了DeepSpeed框架,支持ZeRO-2和ZeRO-3优化。这些技术可以大幅降低显存占用,使得在有限硬件上训练大模型成为可能。例如,使用ZeRO-3优化,开发者可以在4张A100 GPU上对Qwen-14B模型进行全参数微调。 全面的评测和部署支持 训练完成后的模型评测和部署同样重要。在评测方面,SWIFT集成了多个标准数据集,如MMLU、CEval、ARC等,可以快速对模型能力进行全面评估。评测过程支持多种加速技术,如vLLM,可以显著提升评测效率。 在部署方面,SWIFT提供了多种选择。对于需要快速验证的场景,可以使用内置的推理接口。对于生产环境,SWIFT支持将模型导出为ONNX格式,或者使用vLLM、ChatGLM.cpp等高性能推理引擎进行部署。这种灵活的部署方案,可以满足不同场景下的性能需求。 友好的用户界面 [...]

大规模语言模型(LLMs)的崛起为人机交互开辟了新纪元。以ChatGPT为代表的先进LLMs展现出令人惊叹的语言理解能力。然而,随着这些模型规模的指数级增长,一个关键维度仍未得到充分研究 – 即模型的个性化。本文将深入探讨这一重要议题,并介绍一种创新的评估基准PEFT-U,为语言模型的个性化研究提供了新的视角和工具。 LLMs的”一刀切”困境 目前主流的大型基础模型如GPT-3等,主要聚焦于创建可服务于广泛任务和用户的通用模型。这种方法强调模型的泛化能力,将用户视为一个整体而非独特的个体。虽然这种做法在许多常见应用中很实用,但往往无法满足人类丰富多样的个性化需求。 正如密歇根大学计算机科学与工程系的Christopher Clarke等研究者指出:”在许多现实场景中,用户有独特的偏好、背景和期望,而当前通用的LLMs无法有效满足这些需求。”这些传统LLMs主要遵循”一刀切”的方法,提供单一、统一的模型来服务所有用户和任务。虽然这种方法在许多情况下无疑很有价值,但在适应人类丰富多样性方面存在不足,因为人们并不统一,他们的语言和交流偏好差异很大。 PEFT-U基准:评估个性化能力的新工具 为了探索这一问题,研究团队引入了PEFT-U基准:一个用于构建和评估面向用户个性化的NLP模型的新数据集。PEFT-U由一系列以用户为中心的任务组成,包含多样化和个性化的表达,其中用户对相同输入的偏好可能会有所不同。 PEFT-U基准的主要特点包括: 研究者表示:”通过PEFT-U,我们探索了在各种以用户为中心的任务中,如何高效地个性化LLMs以适应用户特定偏好的挑战。” 个性化方法的实证分析 研究团队实施并实证分析了一系列个性化提示方法(非参数)与高效调优和划分用户级知识(参数)的策略,用于个性化任务。他们的研究结果表明,个性化模型对于为用户提供更准确、更能代表其实际观点的结果至关重要。 具体而言,研究者评估了7种不同的参数高效方法,用于个性化Flan-T5模型: 实验结果显示,个性化微调方法在准确性方面明显优于传统的少样本提示技术。其中,Adapters方法在13个PEFT-U任务中的12个上表现最佳,总体准确率达到64.4%,相比之下LoRa位居第二,准确率为59.5%。 研究者强调:”这些结果凸显了PEFT-U基准的复杂性,揭示了在不同任务和数据集上始终保持高性能的内在挑战。” 个性化的必要性与挑战 PEFT-U基准的研究结果清晰地表明,个性化模型对于为用户提供更准确、更能代表其实际观点的结果至关重要。值得注意的是,零样本/少样本提示在充分代表用户观点方面远远落后于经过训练的对应模型。 然而,研究也揭示了个性化方法之间性能的显著差异,以及在某些数据集(如Subjective Discourse和MeasuringHateSpeech)上的表现,表明该基准提出了多方面的挑战。用户个性化、模型规模和参数调优的细微差别显著影响这些方法的有效性。 研究者指出:”方法之间观察到的性能多样性表明,没有放之四海而皆准的解决方案,需要进一步深入研究。” 结语:个性化LLMs的未来 PEFT-U基准的引入为NLP中关于LLMs个性化的关键研究领域提供了重要工具。虽然LLMs在各种任务中都取得了显著的性能,但它们的泛化能力主要遵循”一刀切”的范式。这种方法虽然在许多常见应用中很实用,但往往无法满足个体用户丰富多样的语言和交流偏好。 PEFT-U基准通过强调相同输入需要根据不同用户生成不同输出的场景,为评估LLMs的个性化能力提供了独特的挑战。研究结果不仅展示了PEFT-U基准所呈现的内在挑战,也为继续探索有效的个性化策略提供了有力支持。 随着AI技术的不断进步,个性化语言模型无疑将成为未来研究的重要方向。通过深入理解和满足用户的个性化需求,我们有望开发出更智能、更人性化的AI系统,为人机交互带来革命性的变革。 参考文献 [...]

在人工智能快速发展的今天，我们正在见证一场革命性的变革——AutoAct框架的诞生。这个由研究人员精心设计的系统，正在悄然改变我们对AI学习和问答能力的认知。让我们一起深入探讨这个令人兴奋的新技术，看看它如何为智能问答开辟新天地。 从零开始的智慧之旅 想象一下，你有一个刚出生的AI助手。它就像一张白纸，除了一些基本的语言理解能力外，几乎一无所知。现在，你的任务是让它成长为一个博学多识、能回答各种复杂问题的智能体。这听起来是个艰巨的任务，对吧？ 这正是AutoAct要解决的挑战。它的秘密武器是”自我指导”（Self-Instruct）机制。就像一个好奇的孩子，AutoAct的Meta-Agent（元代理）会从少量示例中学习，然后自己生成大量的问答对。这个过程就像是AI在给自己出题并解答，通过这种方式rapidly扩展自己的知识库。 工具箱里的百宝囊 但知识alone是不够的。正如一个熟练的工匠需要各种工具一样，一个强大的AI系统也需要多样化的能力。AutoAct的”工具库”就像是AI的瑞士军刀，包含了从网络搜索到图像识别，再到数学计算的各种功能。 更妙的是，AutoAct不需要人工指定使用哪些工具。它的”自动工具选择”功能就像是AI自己在工具箱中挑选最合适的工具，这大大提高了系统的灵活性和效率。 模仿学习的艺术 人类常说”熟能生巧”，AutoAct也深谙此道。通过”轨迹合成”，它会模仿和生成大量的问答过程。就像一个学生反复练习解题步骤一样，AutoAct通过这种方式磨练自己的问答技巧。更重要的是，它懂得区分好坏——只保留那些高质量的轨迹作为学习范本。 专业化的奥秘 AutoAct最令人称奇的可能是它的”自我分化”能力。就像人体的细胞会分化成不同功能的组织，AutoAct的Meta-Agent也会分化成三个专门的子代理： 这种分工合作的模式，让整个系统能够更高效、更准确地处理复杂问题。 实战演练：纽约地标大挑战 让我们看一个具体的例子。假设有人问：”750 7th Avenue和101 Park Avenue位于哪个城市？” AutoAct的处理流程令人叹为观止： 整个过程流畅自然，就像一个经验丰富的向导在为你解答问题。 未来的无限可能 AutoAct框架的意义远不止于此。它展示了AI系统如何从最基本的输入开始，通过自主学习和优化，逐步发展成为处理复杂任务的专家系统。这种方法不仅可以应用于问答系统，还可能革新many其他AI应用领域。 想象一下，未来的AI助手可能会像AutoAct一样，能够自主学习、灵活运用工具、并且不断优化自己的能力。这将为个人助理、客户服务、教育辅导等领域带来翻天覆地的变化。 结语 AutoAct的出现，为我们展示了AI学习和问答技术的美好前景。它不仅是技术的进步，更是人工智能向着真正”智能”迈出的重要一步。随着这类技术的不断发展，我们可以期待看到更多令人惊叹的AI应用，它们将以前所未有的方式增强人类的能力，开创智能交互的新纪元。 在AutoAct的启发下，也许你已经开始思考：在不远的将来，我们与AI的对话会变得多么自然、多么深入？又有哪些令人兴奋的可能性正等待我们去探索？无论如何，AutoAct都向我们展示了一个充满智慧与无限可能的未来。 [...]