随着大语言模型 （LLM） 在各领域的广泛应用，如何有效评估和提升 LLM 的工具调用能力变得至关重要。 Berkeley Function Calling Leaderboard (BFCL) 正是为此而生，它提供了一个全面、系统的平台，帮助开发者深入了解不同 LLM 在工具调用方面的性能表现，并为模型优化提供参考。
BFCL：LLM 工具调用能力的试金石
BFCL 旨在对 LLM 调用外部函数和工具的能力进行综合评估。它不仅是一个排行榜，更是一个深入研究 LLM 工具调用能力的数据集和评估框架。通过 BFCL，开发者可以：
- 了解 LLM 在不同场景下的工具调用表现： BFCL 覆盖了多种编程语言 （Python, Java, JavaScript, REST API, SQL） 、不同的应用领域以及各种复杂的用例 （多函数调用、并行函数调用） 。
- 对比不同 LLM 的优劣： BFCL 提供了详细的评估结果，方便开发者选择最适合自己需求的 LLM 。
- 发现 LLM 工具调用中的常见问题： BFCL 总结了 LLM 在工具调用过程中容易出现的错误，帮助开发者避免踩坑。
- 参与到 LLM 工具调用能力的提升中： BFCL 鼓励开发者使用其数据集和评估框架，共同推动 LLM 工具调用技术的发展。
BFCL 数据集：多样化、高质量的评估基准
BFCL 数据集包含 2000 个问题-函数-答案对，相比于之前的 OpenFunctions-v0 数据集，数据量大幅提升。该数据集的亮点在于其多样性：
- 覆盖广泛的领域： 数据集涵盖了数学、体育、金融等 40 个子领域，确保评估的全面性。
- 支持多种编程语言： 除了主流的 Python，还包括 Java 、 JavaScript 、 REST API 和 SQL，更贴近实际应用场景。
- 包含复杂的用例： 数据集不仅包含简单的函数调用，还包括多函数调用和并行函数调用，更具挑战性。
- 可执行的真实示例： 数据集中的函数调用示例可以直接执行，方便开发者进行验证和调试。
BFCL 评估指标：多维度、精细化的性能衡量
BFCL 采用两种主要的评估方法：
- 抽象语法树 （AST） 评估： 通过解析模型生成的代码，判断其语法结构的正确性。
- 可执行评估： 实际执行模型生成的 API 调用，验证其返回结果的正确性。
此外，BFCL 还根据函数类型和评估方法，将评估结果细分为九个类别，方便开发者进行更深入的分析：
- 抽象语法树 （AST） 评估：
- 简单函数
- 多函数
- 并行函数
- 并行多函数
- 相关性检测
- 通过执行 API 评估：
- 简单函数
- 多函数
- 并行函数
- 并行多函数
BFCL 常见错误：避免踩坑，提升模型性能
BFCL 总结了 LLM 在工具调用过程中容易出现的常见错误，以下是一些典型的例子：
- GPT 函数文档格式限制： GPT 对函数文档的格式要求较为严格，需要进行手动转换才能兼容。
- 参数隐式转换失败： 当用户问题中没有直接给出函数所需的参数时，LLM 可能无法进行正确的隐式转换。
- 生成格式错误的函数调用： 某些 LLM 可能会生成语法错误或无法执行的函数调用。
- REST API 缺少 URL： 在调用 REST API 时，LLM 可能会遗漏必要的 URL 。
了解这些常见错误，可以帮助开发者在模型训练和应用过程中避免踩坑，从而有效提升 LLM 的工具调用性能。
加入 BFCL，共同推动 LLM 工具调用技术的发展
BFCL 不仅是一个评估平台，更是一个开放的社区。我们鼓励广大开发者积极参与到 BFCL 中来：
- 使用 BFCL 数据集训练和评估自己的模型。
- 分享自己在工具调用方面的经验和技巧。
- 参与到 BFCL 数据集的完善和评估框架的改进中来。
通过共同努力，我们可以更好地理解 LLM 的工具调用能力，并推动这一技术在更多领域得到应用。
快速链接：
- Live Leaderboard: Website
- BFCL Evaluation Dataset: HuggingFace Dataset 🤗
- BFCL V2 Live: Blog Post
- Gradio Demo: HuggingFace Space 🤗
- Reproducibility: Github Code
让我们一起探索 LLM 工具调用的无限可能！