作者
Siyuan Guo, Aniket Didolkar, Nan Rosemary Ke, Anirudh Goyal, Ferenc Huszár, Bernhard Schölkopf
摘要
本文 《学习超越模式匹配？评估 LLMs 的数学理解能力》 探讨了大语言模型 （LLMs） 在数学问题解决中的领域知识和理解能力。作者不仅研究了预训练 LLM 已经掌握的知识，还考察了它们在上下文学习或指令微调过程中如何通过信息来学习。研究旨在评估 LLMs 在解决问题时理解不同数学技能的能力，以及其利用数学中复杂知识结构的能力。
受到神经切线核 （NTK） 概念的启发，作者提出了一种名为 NTKEval 的方法，通过训练不同类型的数学数据来评估 LLM 概率分布的变化。论文中进行的分析显示了在上下文学习期间领域理解的证据，表明 LLMs 能够有效地学习和利用相关的数学技能。然而，某些指令微调技术导致的性能变化与训练数据无关，这表明在不同技能之间缺乏领域理解。
主要内容
1. 引言
大语言模型 （LLMs） 在各种自然语言推理任务中展示了显著的成功。本文评估了 LLMs 在解决数学问题时所需的不同数学技能的理解能力，不仅关注预训练模型已经掌握的知识，还关注其在上下文学习或指令微调期间如何学习。
2. 相关工作
现有的研究主要关注 LLMs 在数学问题解决中的表现，然而很少有研究探讨其在不同数学技能上的理解能力。本文提出的方法旨在填补这一空白。
3. 背景
神经切线核 （NTK） 是一种用于分析神经网络泛化特性的工具。本文将 NTK 扩展到语言模型，提出 NTKEval 方法来评估模型在不同数学数据上的训练效果。
4. 方法
NTKEval 通过计算在不同技能数据集上的概率分布变化来评估 LLM 的学习效果。具体来说，本文利用重要性采样方法来计算不同模型在相同输入下生成正确答案的概率差异。
5. 数据集
本文使用了合成数据集和 KhanSkill 数据集。合成数据集包含测试四种基本数学技能和四种问题格式的题目，而 KhanSkill 数据集包含 9393 种技能的 2020 个问题。
6. 实验
实验结果表明，LLMs 在上下文学习期间能够区分深层结构和表层结构，表现出领域理解。然而，指令微调在不同数据类型上的效果相似，表明其适应性主要基于格式匹配而非领域理解。
7. 结论
本文提出的 NTKEval 方法证明了其在样本效率上的优势，并发现 LLMs 在上下文学习中表现出领域理解。相比之下，某些指令微调技术在不同数据上的效果相似，缺乏对不同数学技能的理解。