DSPy和RAG: Retrieval-Augmented Generation 🧠
在当今的自然语言处理领域,检索增强生成(RAG)是一个引人注目的方法,它允许大语言模型(LLMs)利用来自大型知识库的丰富信息,通过查询知识存储来寻找相关段落和内容,从而生成经过深思熟虑的响应。RAG的魅力在于它能够动态利用实时知识,即使在某些主题上并未经过专门训练的情况下,也能提供有深度的回答。 但RAG的复杂性也随之而来,尤其是在构建精细的RAG管道时。为了解决这些复杂性,我们可以借助DSPy,它提供了一种无缝的方式来设置提示管道。 配置语言模型(LM)和检索模型(RM) ⚙️ 首先,我们需要设置语言模型(LM)和检索模型(RM),而DSPy通过多种LM和RM API以及本地模型托管来支持这一过程。 在本教程中,我们将使用GPT-3.5(gpt-3.5-turbo)和ColBERTv2检索器(一个免费服务器,托管了一个包含2017年维基百科“摘要”搜索索引的数据库,该数据库包含每篇文章的第一段内容)。我们将在DSPy中配置LM和RM,从而使DSPy能够在需要生成或检索时内部调用相应的模块。 加载数据集 📚 本教程中,我们使用HotPotQA数据集,这是一个复杂的问题-答案对集合,通常以多跳的方式进行回答。我们可以通过HotPotQA类加载这个由DSPy提供的数据集: 输出: 构建签名 ✍️ 在加载完数据后,我们现在可以开始定义RAG管道的子任务的签名。 我们可以识别简单的输入question和输出answer,但由于我们正在构建RAG管道,我们希望利用来自ColBERT语料库的一些上下文信息。因此,让我们定义我们的签名:context, question –> answer。 我们为context和answer字段添加了小描述,以定义模型将接收和应该生成的内容的更强指引。 构建管道 🚀 我们将把RAG管道构建为一个DSPy模块,这将需要两个方法: 优化管道 🔧 编译RAG程序 在定义了这个程序后,让我们现在编译它。编译程序将更新存储在每个模块中的参数。在我们的设置中,这主要是通过收集和选择良好的示例以包含在提示中来实现的。 编译依赖于三件事: :::info提示器: 提示器是强大的优化器,可以将任何程序进行引导,学习如何自生成并选择有效的模块提示。因此,它的名字意味着“远程提示”。 不同的提示器在优化成本与质量等方面提供了各种权衡。在上述示例中,我们使用了一个简单的默认BootstrapFewShot。 如果你喜欢类比,可以将其视为你的训练数据、损失函数和标准DNN监督学习设置中的优化器。而SGD是一个基本的优化器,还有更复杂(且更昂贵!)的优化器,如Adam或RMSProp。::: 执行管道 🎉 现在我们已经编译了RAG程序,让我们试试它。 非常好。我们来检查最后的提示给LM的内容。 输出: 即使我们没有写出任何详细的示例,我们也看到DSPy能够为3-shot检索增强生成引导这个3,000个token的提示,并使用Chain-of-Thought推理在一个极其简单的程序中。 这展示了组合和学习的力量。当然,这只是由特定提示器生成的,其在每个设置中可能完美无瑕,也可能并非如此。正如您将在DSPy中看到的那样,您有一个庞大且系统化的选项空间,可以针对程序的质量和成本进行优化和验证。 您还可以轻松检查学习到的对象。 评估管道 📊 我们现在可以在开发集上评估我们的compiled_rag程序。当然,这个小集并不意味着是一个可靠的基准,但它将在说明中很有启发性。 让我们评估预测答案的准确性(精确匹配)。 输出: 评估检索 🔍 评估检索的准确性也可能是有启发性的。虽然有多种方式可以做到这一点,但我们可以简单地检查检索的段落是否包含答案。 我们可以利用我们的开发集,其中包括应检索的金标题。 输出: 尽管这个简单的compiled_rag程序能够正确回答相当一部分问题(在这个小集上,超过40%),但检索的质量则低得多。 这可能表明LM在回答问题时往往依赖于它在训练期间记住的知识。为了应对这种较弱的检索,我们将探索一个涉及更高级搜索行为的第二个程序。 通过这个详细的示例,我们可以看到如何利用DSPy构建一个RAG管道,配置和优化我们的模型,并评估其性能。这不仅展示了DSPy的强大能力,也为使用RAG技术提供了清晰的方向。