使用 Ollama 和 Continue 打造开源 AI 代码助手

作者

在当今飞速发展的人工智能时代, 开发者们渴望拥有一个强大而又易用的 AI 代码助手。本文将为您详细介绍如何利用 Ollama 和 Continue 这两个开源工具, 在您自己的编辑器中打造一个完全开源的 AI 代码助手。让我们一步步深入探索这个激动人心的话题。

Ollama 和 Continue 简介

Ollama: 本地运行大型语言模型的利器

Ollama 是一个强大的工具, 允许用户在本地设备上运行各种大型语言模型 (LLMs) 。它支持多种模型, 包括 Llama 、 GPT-J 等, 使得在个人电脑上使用先进的 AI 模型成为可能。

Continue: 编辑器中的 AI 助手

Continue 是一个创新的 IDE 插件, 可以轻松地在 Visual Studio Code 和 JetBrains 等主流编辑器中集成 AI 辅助功能。它支持代码自动完成、智能对话等特性, 大大提升了开发效率。

安装和配置

要开始使用这个强大的 AI 代码助手, 我们需要完成以下安装步骤:

  1. 安装 Continue 插件:
  • 对于 VS Code 用户, 在扩展市场搜索并安装"Continue"
  • 对于 JetBrains 用户, 在插件库中查找并安装相应的 Continue 插件
  1. 安装 Ollama:
  • macOS 用户可以使用 Homebrew 安装: brew install ollama
  • Linux 用户可以通过官方提供的安装脚本安装
  • Windows 用户可以下载官方提供的安装包

安装完成后, 我们就可以开始探索这个强大的 AI 代码助手了。

探索 Ollama 和 Continue 的强大功能

1. 尝试 Mistral AI 的 Codestral 22B 模型

Codestral 22B 是目前最强大的开源代码模型之一, 同时支持自动完成和对话功能。虽然它需要较高的硬件要求, 但其表现令人印象深刻。

使用步骤:

a. 在终端运行以下命令下载并运行 Codestral:

ollama run codestral

b. 在 Continue 的配置文件 (config.json) 中添加以下内容:

{
  "models": [
    {
      "title": "Codestral",
      "provider": "ollama",
      "model": "codestral"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Codestral",
    "provider": "ollama",
    "model": "codestral"
  }
}

这样配置后, 您就可以在编辑器中体验 Codestral 强大的代码补全和对话能力了。

2. 组合使用 DeepSeek Coder 和 Llama 3

如果您的设备性能允许, 可以尝试同时运行多个模型, 充分发挥 Ollama 的并发处理能力。这里我们推荐使用 DeepSeek Coder 6.7B 进行代码自动完成, 而用 Llama 3 8B 处理对话任务。

操作步骤:

a. 在一个终端窗口运行 DeepSeek Coder:

ollama run deepseek-coder:6.7b-base

b. 在另一个终端窗口运行 Llama 3:

ollama run llama3:8b

c. 更新 Continue 的 config.json:

{
  "models": [
    {
      "title": "Llama 3 8B",
      "provider": "ollama",
      "model": "llama3:8b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "DeepSeek Coder 6.7B",
    "provider": "ollama",
    "model": "deepseek-coder:6.7b-base"
  }
}

这种配置可以让您同时享受高质量的代码补全和智能对话体验。

3. 使用 nomic-embed-text 嵌入模型增强 @codebase 功能

Continue 内置了 @codebase 上下文提供器, 可以自动检索并提供最相关的代码片段。结合 Ollama 和 LanceDB, 我们可以实现完全本地化的代码库搜索和上下文理解。

设置步骤:

a. 下载 nomic-embed-text 模型:

ollama pull nomic-embed-text

b. 在 Continue 的 config.json 中添加:

{
  "embeddingsProvider": {
    "provider": "ollama",
    "model": "nomic-embed-text"
  }
}

配置完成后, 您就可以使用 @codebase 命令来查询代码库,AI 助手会自动找到相关代码段并用于回答。

4. 基于开发数据微调 StarCoder 2

Continue 会自动收集您的开发数据, 存储在本地的.continue/dev_data 目录中。利用这些数据, 我们可以微调像 StarCoder 2 这样的模型, 使其更好地适应您的编码风格和需求。

微调步骤概述:

  1. 提取并加载"已接受的 tab 建议"到 Hugging Face Datasets
  2. 使用 Hugging Face 的监督微调训练器对 StarCoder 2 进行微调
  3. 将微调后的模型推送到 Ollama 模型库, 供团队使用

这个过程可以显著提高代码建议的准确性和接受率。

5. 利用 @docs 功能学习 Ollama

Continue 的 @docs 功能允许您索引和检索任何文档站点的内容。我们可以用它来学习更多关于 Ollama 的知识。

使用方法:

  1. 在 Continue 的聊天侧边栏中输入 @docs
  2. 选择"Add Docs"
  3. 在 URL 字段中输入"https://github.com/ollama/ollama"
  4. 在标题字段中输入"Ollama"

完成索引后, 您就可以向 AI 助手询问关于 Ollama 的问题, 它会自动从 README 中找到相关信息来回答。

结语

通过结合 Ollama 和 Continue, 我们可以在自己的编辑器中构建一个强大、灵活且完全开源的 AI 代码助手。从代码补全到智能对话, 从本地运行到自定义微调, 这个方案为开发者提供了前所未有的 AI 辅助编程体验。

随着开源 AI 技术的不断进步, 我们相信这样的本地 AI 代码助手将成为每个开发者工具箱中不可或缺的一部分。无论您是个人开发者还是大型团队的一员,Ollama 和 Continue 的组合都能为您的编程工作带来显著的效率提升和创新可能。

最后, 如果您在使用过程中遇到任何问题或有任何疑问, 欢迎加入 Continue 和 Ollama 的 Discord 社区。那里有众多热心的开发者和专家, 随时准备提供帮助和分享经验。

让我们一起拥抱 AI 辅助编程的未来, 开启编码新纪元！

参考文献

  1. Ollama 官方博客. (2024). An entirely open-source AI code assistant inside your editor. https://ollama.com/blog/continue-code-assistant

发表评论