AI

近年来，在线教育资源如雨后春笋般涌现，但这些资源往往缺乏配套的测试题，无法有效地帮助学生进行自测和评估学习成果。如何大规模地生成高质量的教育问题，成为了在线教育发展的重要课题。 本文将介绍一项名为 EduQG 的新方法，它通过对预训练语言模型进行微调，可以有效地生成高质量的教育问题，为在线教育的规模化发展提供助力。 预训练语言模型：教育问题生成的新引擎 预训练语言模型 (PLM) 在自然语言处理领域取得了重大突破，它们通过学习海量文本数据，获得了强大的语言理解和生成能力。近年来，研究人员开始探索将 PLM 应用于教育问题生成领域，取得了一些成果。 现有的研究表明，通过对 PLM 进行微调，可以使其生成高质量的教育问题。然而，这些方法往往依赖于特定领域的训练数据，难以实现大规模的应用。 EduQG：面向教育的预训练语言模型 为了解决这一问题，研究人员开发了 EduQG 模型，它通过以下步骤来生成高质量的教育问题： EduQG 的优势 实验结果表明，EduQG 模型在生成科学问题方面表现出色，其优势主要体现在以下几个方面： 未来展望 EduQG 模型的出现为在线教育的发展带来了新的希望。未来，研究人员将继续探索如何进一步提高 EduQG 模型的性能，使其能够生成更加多样化、更具挑战性的教育问题，为个性化学习提供更强大的支持。 参考文献: [1] Bulathwela, S., Muse, H., & Yilmaz, E. (2023). Scalable Educational Question Generation with Pre-trained Language Models. arXiv preprint arXiv:2305.07871.[2] Brown, T., Mann, B., Ryder, N., Subbiah, M., … Read more

在信息爆炸的时代，推荐系统成为了我们生活中不可或缺的一部分，帮助我们从海量信息中筛选出感兴趣的内容。然而，传统的推荐系统往往需要收集用户的全部行为数据，这不仅存在隐私泄露的风险，也引发了人们对数据安全的担忧。为了解决这一问题，联邦推荐应运而生。 联邦推荐是一种新的服务架构，它可以在不将用户数据共享给服务器的情况下提供个性化的推荐服务。现有的联邦推荐方法通常在每个用户的设备上部署一个推荐模型，并通过同步和聚合物品嵌入来协调模型的训练。然而，这些方法忽略了用户之间存在着不同的偏好，简单地将所有用户的物品嵌入进行平均聚合，会导致聚合后的嵌入信息量减少，影响个性化推荐的效果。 图引导的个性化框架：GPFedRec 为了解决这一问题，本文提出了一种新颖的 图引导的个性化框架（GPFedRec），用于联邦推荐。GPFedRec 通过利用一个自适应的图结构来捕捉用户偏好的相关性，从而增强了不同用户之间的协作。此外，GPFedRec 将每个用户的模型训练过程整合到一个统一的联邦优化框架中，使得模型能够同时利用共享的和个性化的用户偏好。 GPFedRec 的核心思想 GPFedRec 的核心思想是基于用户之间偏好的相似性构建一个用户关系图。在每个训练轮次中，服务器首先从用户设备收集本地训练的物品嵌入，然后利用图引导的聚合机制更新物品嵌入，从而获得每个用户的个性化物品嵌入。同时，服务器还会根据所有用户的个性化物品嵌入计算一个全局共享的物品嵌入，代表着所有用户的共同偏好。最后，服务器将个性化物品嵌入和全局共享的物品嵌入分别发送给用户设备，用于指导本地模型的训练。 GPFedRec 的优势 实验结果 在五个基准数据集上的实验结果表明，GPFedRec 在提供个性化推荐方面取得了显著的性能提升，超越了现有的联邦推荐方法和集中式推荐方法。此外，实验还验证了 GPFedRec 的鲁棒性和可扩展性。 总结 GPFedRec 是一种新颖的联邦推荐框架，它通过图引导的个性化机制，有效地捕捉了用户偏好的相关性，并增强了用户之间的协作。GPFedRec 在提供个性化推荐方面取得了显著的性能提升，并具有良好的隐私保护能力。 参考文献 [1] Chunxu Zhang, Guodong Long, Tianyi Zhou, Peng Yan, Zijian Zhang, and Bo Yang. 2023. Graph-guided Personalization for Federated Recommendation. In Proceedings of ACM Conference (Conference’17). ACM, New York, NY, USA, 11 … Read more

神经线性老虎机 (NLB) 虽然简单，但直接将其融入工业训练和服务流程中却面临着挑战，主要体现在三个方面： 实验 我们在大型短视频推荐平台上进行了一系列在线 A/B 测试，以评估基于神经线性老虎机的排名系统的性能。我们还检查了不确定性测量的属性和可靠性。 我们首先在控制组和处理组上运行了 0.3% 的流量的用户分流 A/B 测试，持续六周，以观察用户指标。控制组是生产中的原始排名模型，处理组是利用神经线性老虎机的基于探索的排名系统。对于 NLB，如 5.2 节所述，我们在流式方式中更新协方差矩阵，而精度矩阵 Σ† 则在每次训练运行时离线更新，以与训练管道保持一致。为了确保矩阵求逆的稳定性，我们将正则化超参数设置为 ϵ=1e−6 (公式 4)。为了选择噪声参数 σ2，我们计算了 5 个不同训练模型的集合的不确定性（作为一种昂贵的真实值测量），并选择了常数超参数 σ2=10，使得从集合和神经线性老虎机获得的不确定性大致处于同一数量级。 神经线性老虎机的表现：内容新鲜度和用户满意度 直观地，基于不确定性的探索系统（例如 NLB）会更多地暴露新鲜和尾部内容，这会改变整体内容语料库分布，并从这些区域获取有价值的学习信号，进而转化为用户参与度的提升。 表 2 报告了在不同时间段内发布的新鲜内容上的正向交互次数增加。标题行中的时间区间（例如 1 小时）根据不同的新鲜度级别对内容进行分组。不同新鲜度级别内容上正向交互次数的显著增加证明了探索可以帮助系统有效地探索新鲜内容，并获取有价值的学习信号。有趣的是，我们还看到满意的每日活跃用户数量随着时间的推移而稳定增加，如图 8 所示。我们推测这种提升可能来自以下两个方面。首先，系统帮助用户发现新颖的兴趣，因为我们还看到用户在提供正向交互的独特主题数量上增加了 +1.25%。同时，用户更喜欢在专门针对短视频内容的特定表面上看到新鲜内容。 不确定性估计的属性和可靠性 神经线性老虎机中的关键组成部分之一是二次不确定性项，它捕捉了不同 (𝐮,𝐚) 对的探索项的强度。虽然在理论上可以量化，但可视化不确定性在不同用户和内容类型之间如何变化仍然是一个有趣的问题。为了检查这一点，我们选择了三个代表性特征，其中两个捕捉内容属性：1) 内容发布时间以来的天数（即内容年龄）；2) 终身正向交互次数（即内容流行度）；以及一个捕捉用户属性的特征：3) 用户在平台上提供的总交互次数（即用户活跃度）。 我们使用斯皮尔曼秩相关系数来衡量这些特征与神经线性老虎机计算的不确定性项之间的关系，该系数评估了两个变量之间的单调关系。表 3 报告了所选三个特征与神经线性老虎机计算的不确定性之间的斯皮尔曼秩相关系数。有趣的是，可以观察到，当前系统对于新鲜和不太流行的内容更加不确定，而对于不同活跃度级别的用户则或多或少保持中立。此外，我们计算了特征与从集合模型获得的不确定性之间的斯皮尔曼秩相关性，结果表明内容特征为 -0.3，用户特征为 0。这些结果与从神经线性老虎机计算的结果相似，表明了不确定性估计的可靠性。 神经线性老虎机对语料库指标变化的影响 为了检查神经线性老虎机的探索能力，即它如何使内容语料库的大小受益，我们执行了 5% 的用户-语料库-协同分流实验，将 5% 的语料库和用户分别分流到控制组和处理组。对于基于神经线性老虎机的基于探索的排名系统，我们看到 Discoverable Corpus … Read more

推荐系统已经成为人们日常生活中不可或缺的一部分，为用户提供推荐平台上的相关内容。许多系统被训练来预测和利用用户对推荐的即时反应，例如点击、停留时间和购买，在个性化方面取得了巨大成功（Sarwar 等人，2001；Koren 等人，2009；Covington 等人，2016；Zhang 等人，2019）。然而，这些基于利用的系统被称为会受到闭环反馈效应的影响（Jiang 等人，2019；Jadidinejad 等人，2020），在这种效应中，推荐系统和用户相互强化彼此的选择。用户被推荐的项目所吸引，只对所选项目提供反馈；系统利用有偏差的反馈数据进行训练，进一步巩固和强化用户配置文件，使其更倾向于之前与之交互的内容。结果，用户越来越局限于更狭窄的内容集，而平台上的许多内容仍然未被发现。 探索是打破这种反馈循环的关键。通过向用户展示不太确定的内容（Jadidinejad 等人，2020；Chen 等人，2021），它主动获取有关未知用户内容对的未来学习信号，以填补系统中的知识空白。这样做，探索可以向用户介绍新颖的内容，我们称之为用户探索（Chen 等人，2021；Song 等人，2022；Schnabel 等人，2018）；它还可以使更多新鲜和尾部内容（以及内容提供者）在平台上可发现，我们称之为项目探索（Chen，2021；Aharon 等人，2015）。我们将重点讨论项目探索。 虽然有效的探索技术（Li 等人，2010；Agarwal 等人，2014；Silver 等人，2016；Chen 等人，2019）在老虎机和强化学习文献中得到了积极的研究，但在现实世界工业系统中部署它们已被证明很困难。主要挑战在于衡量（Chen，2021）探索的确切益处，这将作为从纯粹基于利用的系统转向基于探索的系统的具体和可衡量的证据。虽然探索技术如上限置信区间（Auer 等人，2002；Chu 等人，2011）和汤普森采样（Thompson，1933；Chapelle 和 Li，2011；Riquelme 等人，2018）在数学上已被证明比贪婪方法具有更好的遗憾，但尚不清楚这种益处是否会转化为具有噪声和延迟反馈以及不可测试的建模假设的工业推荐设置。 衡量探索益处存在三个主要挑战。第一个是待检查的指标，因为探索的益处需要很长时间才能显现，并且难以在常规的 A/B 测试中捕捉到。同时，推荐不太确定的内容通常会导致短期用户参与指标的损失。因此，确定一些可以作为探索与长期用户体验之间桥梁的中间实体至关重要。 我们专注于通过探索对系统中内容语料库的中间影响来研究探索的价值。我们系统地研究了探索如何扩大内容语料库，进而转化为长期用户参与度提升。第二个挑战是实验设计，正如我们将在后面解释的那样，常用的用户分流 A/B 测试（Kohavi 等人，2020）无法捕捉到探索对内容语料库的益处，因为控制组和实验组之间存在信息泄漏。我们引入了一个新的实验框架来衡量探索对内容语料库变化的影响。最后一个挑战在于设计可以在现实世界工业规模环境中使用的基于探索的系统。为此，我们采用了一种可扩展的探索算法，即神经线性老虎机（NLB）（Riquelme 等人，2018），以充分释放和检验探索的潜在益处。NLB 在从深度神经网络学习的表示之上执行线性回归，作为上下文特征来估计不确定性。它很好地融入现代基于深度学习的推荐系统（Covington 等人，2016），同时在计算准确的不确定性估计方面保持简单。 总之，我们做出了以下贡献： 探索的长期价值：扩大语料库 在本节中，我们研究了通过语料库变化来研究探索的益处。总之，在不确定区域进行探索会增加新鲜和尾部内容的曝光度和可发现性，并改变整体语料库分布，进而改善长期用户体验。我们首先定义语料库指标，即可发现语料库；然后介绍一个新的用户-语料库-协同分流实验框架来衡量探索对可发现语料库的益处。最后，我们展示了一项长期研究，展示了语料库变化对用户体验的影响。 语料库指标 基于利用的系统会导致高度倾斜的语料库分布，其中一小部分语料库占据了大量的用户交互，而其余语料库几乎没有被发现。我们提出了一种语料库指标，该指标捕捉了每个视频接收的交互次数中的语料库分布。为了避免由于内容本身的性能更好（即接收更多交互）而产生的任何混淆因素，仅仅是因为它从探索处理中获得了更多展示，我们使用探索后语料库性能来衡量探索效果。 具体来说，我们为内容设置了一个 X’ 的毕业门槛，即正向用户交互次数。换句话说，一旦内容收到超过 X’ 次的正向用户交互，它就不再有资格接受进一步的探索处理。此时，内容进入探索后阶段，需要靠自身生存。也就是说，探索处理用于引导冷启动内容，但内容的成功仍然主要取决于其自身质量以及在移除进入门槛后的受众相关性。鉴于此，我们正式定义了系统 π 的 Discoverable Corpus @X,Y： Discoverable Corpus @X,Y = (在探索后时间段 Y … Read more

在当今信息爆炸的时代，推荐系统已经成为我们日常生活不可或缺的一部分。然而，现有的推荐系统在处理“零样本商品”时面临着巨大挑战。所谓“零样本商品”，指的是在训练阶段没有与用户发生过交互的商品。由于缺乏历史数据，传统推荐算法难以对这些商品进行有效的推荐。 近年来，预训练语言模型（PLMs）在提取通用商品表示方面取得了显著进展。然而，这些模型忽略了商品之间至关重要的关系信息。为了解决这一问题，一篇名为《基于多任务商品知识图谱预训练的零样本商品推荐》的论文提出了一种全新的零样本商品推荐（ZSIR）范式，该范式通过对商品知识图谱（PKG）进行预训练来细化来自 PLMs 的商品特征。 商品知识图谱预训练的挑战 论文指出，商品知识图谱预训练面临着三大挑战： 多任务预训练与任务导向适配层 为了应对这些挑战，论文提出了四种预训练任务和一种新颖的任务导向适配层（ToA）： ToA 层旨在将 PKG 中的知识有效地迁移到下游 ZSIR 任务。它通过学习一个映射函数，将 PKG 中的商品表示映射到 ZSIR 任务中的商品表示。 模型微调与实验结果 论文还讨论了如何将模型微调到新的推荐任务，并使 ToA 层适应 ZSIR 任务。实验结果表明，该模型在知识预测和 ZSIR 任务上都取得了显著的效果。 总结 这篇论文提出了一种基于多任务商品知识图谱预训练的零样本商品推荐方法，有效地解决了现有的推荐系统在处理零样本商品时面临的挑战。该方法通过对 PKG 进行多任务预训练，并利用 ToA 层将知识迁移到下游任务，显著提升了推荐效果。 参考文献 Fan, Z., Liu, Z., Heinecke, S., Zhang, J., Wang, H., Xiong, C., & Yu, P. S. (2023). Zero-shot item-based recommendation via multi-task … Read more

前言 我们将介绍如何用 Ollama 创建微调过的模型，让对话效果更符合特定化需要。 一、微调大模型 1. LORA 微调 微调大模型的方法有很多，这里我们使用 LORA 微调方法。微调大模型需要比较高的显存，推荐在云服务器上进行训练，系统环境为 Linux。训练方法可以参考 DataWhale 的教程。 1.1 选择基础大模型 基础大模型我们选择 Chinese-Mistral-7B-Instruct-v0.1，模型文件可以在 Hugging Face 或 魔搭社区 下载。 1.2 下载基础大模型 使用魔搭社区的 Python 脚本进行下载，执行前需要先运行 pip install modelscope。 2. 选择数据集 微调大模型要想获得比较好的效果，拥有高质量的数据集是关键。可以选择用网上开源的，或者是自己制作。以中文数据集弱智吧为例，约 1500 条对话数据，数据集可以从 Hugging Face 下载。 3. LORA 微调 3.1 安装依赖 使用 Miniconda 创建 Python 环境，Python 版本为 3.10。 依赖文件 requirements.txt 内容如下： 运行 … Read more

近年来，大型语言模型（LLM）在自然语言处理领域取得了巨大进步，其强大的能力也开始应用于推荐系统，为个性化推荐带来了新的突破。本文将带您深入了解LLM在推荐系统中的应用，并探讨其带来的机遇和挑战。 LLM：推荐系统的“超级大脑” 大型语言模型，顾名思义，是基于深度学习的语言模型，通过海量文本数据的训练，具备强大的语言理解和生成能力。在推荐系统中，LLM可以发挥以下作用： LLM在推荐系统中的两种主要范式 目前，LLM在推荐系统中的应用主要分为两种范式： 1. 判别式推荐LLM（DLLM4Rec）： 这种范式主要利用LLM的语言理解能力，对用户和商品进行特征提取，并基于这些特征进行推荐。例如，可以利用LLM对用户评论进行情感分析，从而更好地理解用户的喜好。 2. 生成式推荐LLM（GLLM4Rec）： 这种范式主要利用LLM的语言生成能力，生成推荐理由、商品描述等，为用户提供更丰富的推荐信息。例如，可以利用LLM根据用户的兴趣生成个性化的商品推荐文案，提升用户体验。 LLM在推荐系统中的挑战与未来 虽然LLM为推荐系统带来了巨大潜力，但也面临着一些挑战： 未来，LLM在推荐系统中的应用将朝着以下方向发展： 结语 大型语言模型的出现，为推荐系统带来了新的机遇和挑战。相信随着技术的不断发展，LLM将在推荐系统中发挥越来越重要的作用，为用户提供更精准、更个性化的服务，开启智能推荐的新时代。 参考文献

近年来，大型语言模型（LLM）在自然语言处理领域取得了突破性进展，其强大的能力也开始渗透到推荐系统领域，为推荐系统带来了新的机遇和挑战。 传统的推荐系统主要依赖于用户和物品的特征，例如用户的历史行为、物品的属性等。然而，这些特征往往无法完全捕捉到用户和物品之间的复杂关系，导致推荐结果的准确性和个性化程度有限。 大型语言模型的出现为推荐系统带来了新的希望。LLM 能够学习到更深层次的语义信息，并能将这些信息用于推荐决策。例如，LLM 可以分析用户的文本评论，理解用户的喜好和需求，从而推荐更符合用户口味的物品。 大型语言模型在推荐系统中的应用主要分为两大类： 1. 判别性推荐LLM（DLLM4Rec）： 这类模型主要利用 LLM 的强大能力来学习用户和物品的表示，并利用这些表示来进行推荐。例如，我们可以利用 LLM 对用户评论进行编码，将用户和物品映射到同一个向量空间，然后根据向量之间的距离进行推荐。 2. 生成式推荐LLM（GLLM4Rec）： 这类模型利用 LLM 的生成能力来生成推荐结果。例如，我们可以利用 LLM 生成用户可能感兴趣的物品描述，或者根据用户的历史行为生成推荐列表。 大型语言模型在推荐系统中的应用带来了诸多优势： 然而，大型语言模型在推荐系统中的应用也面临着一些挑战： 尽管面临着一些挑战，大型语言模型在推荐系统中的应用仍然具有巨大的潜力。相信随着技术的不断发展，大型语言模型将在推荐系统中发挥越来越重要的作用，为用户带来更加精准、个性化和丰富的推荐体验。 参考文献： 注： 本文参考了 [2305.19860] A Survey on Large Language Models for Recommendation 的内容，并进行了改写和整理，以使其更易于阅读和理解。

导言 在《态势感知的未来十年》这篇文章中，Leopold Aschenbrenner描绘了未来十年人工智能（AI）发展的宏伟蓝图。随着计算能力的迅速增长和技术的不断突破，态势感知（Situational Awareness）将不仅仅是一个术语，而将成为关于人类未来的核心概念。在这篇文章中，我们将探讨AI的发展路径、面临的挑战以及未来的可能性。 从GPT-4到AGI：计算能力的飞跃 到2027年实现人工通用智能（AGI）是非常可信的。从GPT-2到GPT-4的进步已经让我们在短短四年内从学龄前儿童的水平跃升到聪明的高中生。追踪计算能力、算法效率和“不受束缚”的收益，我们可以预期到2027年将出现另一次质的飞跃。 GPT-4的能力让很多人感到震惊：一个AI系统可以写代码、论文，通过困难的数学问题进行推理，并在大学考试中名列前茅。然而，这种巨大的进步不仅仅是一时的突破，而是深度学习不断扩大的持续趋势的结果。 在未来几年，随着计算能力的进一步提升，我们预计AI模型将能够完成AI研究人员或工程师的工作。这并不需要相信科幻小说，只需要相信图形上的直线。 从AGI到超级智能：智能爆炸 AI的进步不会止步于人类的水平。数以亿计的AGI可以实现AI研究的自动化，将十年的算法进步压缩到一年。我们将很快从人类水平发展到超级智能，真正意义上的超级智能。超级智能的力量和危险将是戏剧性的。 在智能爆炸的过程中，我们将看到AI系统在我们甚至无法理解的领域内做出新颖、创造性、复杂的行为。超级智能的力量将带来决定性的经济和军事优势。我们能保持对威权国家的优越地位吗？我们能设法避免自毁前程吗？ 奔向万亿级集群 随着AI收入的快速增长，到2020年代末，数万亿美元将投入GPU、数据中心和电力建设中。工业动员，包括对美国电力生产的不满，都将导致严重的后果。美国的大企业正准备投入数万亿美元，以动员美国的工业力量，这是一场前所未见的行动。 超级智能的出现将带来决定性的军事优势，并可能引发一场前所未有的国际竞赛。确保AGI的机密和权重免受国家行为者的威胁将是一项巨大的努力，我们还没有走上正轨。 Superalignment：解决超级智能的对齐问题 可靠地控制比我们聪明得多的AI系统是一个尚未解决的技术问题。虽然这是一个可以解决的问题，但在快速的智能爆炸中，事情很容易失控。处理这个问题会非常紧张，失败很容易造成严重后果。 在智能爆炸的背景下，AI的对齐问题将变得更加紧迫。我们需要开发新的技术和方法，确保超级智能能够按照人类的意图行事。对于未来的超级智能来说，确保其对齐将是一个巨大的挑战，但也是一个必须解决的问题。 世界必胜 超级智能将带来决定性的经济和军事优势。威权国家还没有完全退出竞争。在通往AGI的竞赛中，自由世界的生存岌岌可危。我们能保持对威权国家的优越地位吗？我们能设法避免自毁前程吗？ 随着AGI竞赛的加剧，国家安全部门将被卷入其中。美国政府将从沉睡中醒来，到2027/28年，我们将获得某种形式的政府AGI项目。在这个过程中，确保自由世界的胜利将是至关重要的。 结语 未来十年，AI的发展将带来前所未有的变革。态势感知不仅仅是一个技术术语，而是关于人类未来的核心概念。我们需要为即将到来的智能爆炸做好准备，确保AI技术的安全和对齐，以迎接一个充满机遇和挑战的未来。 https://dweb.link/ipfs/QmXyimbpFo3FSfcpVZMCDxJUHEsi2CsqAQR9Axf3zQabni?filename=%E3%80%8A%E6%80%81%E5%8A%BF%E6%84%9F%E7%9F%A5%E7%9A%84%E6%9C%AA%E6%9D%A5%E5%8D%81%E5%B9%B4%E3%80%8Bsituationalawareness.pdf