Day: June 29, 2024

引言 在信息过载的时代，个性化新闻推荐显得尤为重要。为了更精准地捕捉用户的兴趣，NAML 算法利用多视角学习，从新闻标题、正文、类别和子类别等多个角度学习新闻表示，并结合用户历史行为学习用户表示，从而实现更精准的新闻推荐。 NAML 算法原理 NAML 算法的核心思想是利用注意力机制，从多视角学习新闻表示和用户表示，并根据两者之间的匹配程度预测用户点击新闻的概率。具体来说，NAML 算法包含以下几个步骤： MIND 数据集 MIND 数据集是一个大规模英文新闻数据集，包含了 1,000,000 用户、161,013 篇新闻文章和 15,777,377 条点击日志。每篇新闻文章包含丰富的文本内容，包括标题、摘要、正文、类别和实体。每条点击日志包含用户的点击事件、未点击事件以及该用户在该次点击之前的历史点击行为。 本示例使用 MIND 数据集的子集 MIND demo，包含 5,000 用户、9,432 篇新闻文章和 6,134 条点击日志。由于 MIND 数据集没有发布新闻正文，本示例使用新闻摘要代替正文。 NAML [...]

引言 在新闻推荐领域，准确捕捉用户的兴趣至关重要。用户的兴趣可以分为长期兴趣和短期兴趣两类。长期兴趣指的是用户长期以来稳定的偏好，而短期兴趣则指的是用户在短期内表现出的兴趣变化。LSTUR 算法结合了用户的长期兴趣和短期兴趣，能够更精准地为用户推荐新闻。 LSTUR 算法原理 LSTUR 算法的核心思想是分别学习用户的长期表示和短期表示，并将两者融合，得到最终的用户表示。具体来说，LSTUR 算法包含以下几个步骤： MIND 数据集 MIND 数据集是一个大规模英文新闻数据集，包含了 1,000,000 用户、161,013 篇新闻文章和 15,777,377 条点击日志。每篇新闻文章包含丰富的文本内容，包括标题、摘要、正文、类别和实体。每条点击日志包含用户的点击事件、未点击事件以及该用户在该次点击之前的历史点击行为。 本示例使用 MIND 数据集的子集 MIND demo，包含 5,000 用户、9,432 篇新闻文章和 6,134 条点击日志。 LSTUR 模型训练 首先，需要下载 [...]

引言 在电商平台中，广告点击率 (CTR) 预估对于广告投放效果至关重要。准确预测用户点击广告的概率，可以帮助广告主优化广告投放策略，提升广告收益。LightGBM 作为一种高效的梯度提升决策树算法，在 CTR 预估任务中表现出色。本篇文章将以 lightgbm_tinycriteo.ipynb 示例为例，介绍如何使用 LightGBM 训练 CTR 预估模型，并探讨模型优化策略。 LightGBM 简介 LightGBM 是微软开源的一种梯度提升框架，它使用基于树的学习算法，并针对分布式计算和高效率进行了优化。LightGBM 具有以下优势： 数据准备 本示例使用 Criteo 数据集，该数据集是 CTR 预估领域的经典基准数据集。原始数据集包含 39 个特征，其中 13 个为数值特征 (I1-I13)，26 个为类别特征 [...]

引言 推荐系统领域中，矩阵分解技术是协同过滤算法的重要分支。传统的矩阵分解方法通常只考虑用户和物品之间的交互信息，而忽略了用户和物品本身的特征。GeoIMC 算法将用户和物品的特征信息融入到矩阵分解过程中，并利用黎曼优化方法求解模型参数，从而提升推荐效果。 GeoIMC 算法原理 GeoIMC 算法基于 Jawanpuria 等人 (2019) 的研究成果，将用户和物品的特征信息融入到矩阵分解过程中。以 MovieLens-100K (ML100K) 数据集为例，假设 $X \in R^{m \times d_1}$ 和 $Z \in R^{n \times d_2}$ 分别表示用户和电影的特征矩阵，$M \in R^{m \times n}$ [...]

引言 FastAI 作为一个易于使用且功能强大的深度学习库，为推荐系统的构建提供了便捷的工具。本篇文章将以 fastai_movielens.ipynb 示例为例，介绍如何利用 FastAI 框架，快速构建一个基于协同过滤的电影推荐系统，并对模型性能进行评估。 数据准备 本示例使用经典的 MovieLens 数据集，该数据集包含用户对电影的评分信息。首先，使用 recommenders.datasets.movielens 模块加载数据集，并确保用户 ID 和电影 ID 以字符串类型加载，避免与嵌入 ID 混淆。 接下来，使用 python_stratified_split 函数将数据集划分为训练集/验证集和测试集，划分比例为 75:25。 模型训练 FastAI 提供了 collab_learner 函数，用于快速构建协同过滤模型。默认情况下，collab_learner 使用 EmbeddingDotBias [...]

引言 在信息爆炸的时代，如何从海量新闻中为用户推荐感兴趣的内容，成为了推荐系统研究的热点之一。传统的基于 ID 的协同过滤算法往往难以捕捉新闻内容的语义信息，而基于内容的推荐算法则需要人工提取新闻特征，效率低下。深度知识感知网络 (DKN) 算法应运而生，它结合了深度学习和知识图谱的优势，能够自动学习新闻内容的语义表示，并利用知识图谱中的实体信息提升推荐效果。 DKN 算法原理 DKN 算法的核心思想是将新闻内容和知识图谱信息融合到一个深度学习模型中，通过联合学习语义级和知识级的新闻表示，实现更精准的推荐。具体来说，DKN 算法主要包含以下几个步骤： MIND 数据集 MIND 数据集是一个大规模英文新闻数据集，包含了 1,000,000 用户、161,013 篇新闻文章和 15,777,377 条点击日志。每篇新闻文章包含丰富的文本内容，包括标题、摘要、正文、类别和实体。每条点击日志包含用户的点击事件、未点击事件以及该用户在该次点击之前的历史点击行为。 本示例使用 MIND 数据集的子集 MIND demo，包含 500 用户、9,432 篇新闻文章和 6,134 条点击日志。 [...]

引言 协同过滤算法是推荐系统中应用最广泛的算法之一，而交替最小二乘法 (ALS) 则是协同过滤算法中的一种经典算法。本篇文章将以微软 Recommenders 工具中的 als_movielens.ipynb 示例为例，详细介绍如何使用 PySpark 实现基于 ALS 算法的电影推荐系统，并对模型性能进行评估。 数据准备 本示例使用经典的 MovieLens 数据集，该数据集包含了用户对电影的评分信息。首先，需要使用 recommenders.datasets.movielens 模块加载数据集，并指定使用的数据集大小和数据格式。 接下来，使用 spark_random_split 函数将数据集划分为训练集和测试集，划分比例为 75:25。 模型构建 使用 PySpark MLlib 中的 ALS 模块构建 ALS [...]

引言 想要快速体验不同推荐算法的魅力，并构建自己的推荐系统原型？微软 Recommenders 工具的 00_quick_start 目录提供了一系列开箱即用的 Jupyter Notebook 示例，涵盖了从数据准备、模型构建到模型评估的完整流程。 示例概览 00_quick_start 目录下的示例 Notebook 涵盖了多种经典和先进的推荐算法，并使用了不同的数据集和运行环境，具体如下表所示： 示例 数据集 运行环境 描述 als MovieLens PySpark 使用交替最小二乘法 (ALS) 预测电影评分，在 PySpark 环境中运行。 dkn MIND Python CPU, [...]