毕业设计-基于深度学习的推荐系统研究

基于深度学习的推荐系统研究：深度学习是机器学习领域一个重要的研究方向，近年来在图像处理、自然语言理解、语音识别和在线广告等领域取得了突破性进展．将深度学习融入推荐系统中，研究如何整合海量的多源异构数据，构建更加贴合用户偏好需求的用户模型，以提高推荐系统的性能和用户满意度，成为基于深度学习的推荐系统的主要任务。近年来，随着云计算、大数据、物联网等技术的迅猛发展，互联网空间中各类应用的层出不穷引

HaiLang_IT

3102人浏览 · 2022-12-26 18:45:00

HaiLang_IT · 2022-12-26 18:45:00 发布

前言

📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯基于深度学习的推荐系统研究

课题背景和意义

深度学习是机器学习领域一个重要的研究方向，近年来在图像处理、自然语言理解、语音识别和在线广告等领域取得了突破性进展．将深度学习融入推荐系统中，研究如何整合海量的多源异构数据，构建更加贴合用户偏好需求的用户模型，以提高推荐系统的性能和用户满意度，成为基于深度学习的推荐系统的主要任务。近年来，随着云计算、大数据、物联网等技术的迅猛发展，互联网空间中各类应用的层出不穷引发了数据规模的爆炸式增长，但同时也带来了严重的“信息过载”问题，如何快速有效地从纷繁复杂的数据中获取有价值的信息成为了当前大数据发展的关键难题．推荐系统作为解决“信息过载”问题的有效方法，已经成为学术界和工业界的关注热点并得到了广泛应用，形成了众多相关研究成果．推荐系统根据用户需求、兴趣等，通过推荐算法从海量数据中挖掘出用户感兴趣的项目（如信息、服务、物品等），并将结果以个性化列表的形式推荐给用户．

实现技术思路

一、传统推荐系统

推荐算法对未知评分的预测能够采用不同的方法，包括近似理论、机器学习和各种启发式方法等．但是传统的推荐方法主要可以分为以下３种：基于内容的推荐、协同过滤推荐和混合推荐。

（１）基于内容的推荐．主要根据用户已经选择或者评分的项目，挖掘其它内容上相似的项目作为推荐，属于Ｓｃｈａｆｅｒ划分中的项目到项目关联的方法

（２）协同过滤推荐．源于现实生活中口碑相传的过程，协同过滤利用相似用户之间具有相似兴趣偏好的方法，来发现用户对项目的潜在偏好。

（３）混合推荐．考虑到单一推荐方法都存在各自的不足，通过组合不同的推荐算法进行混合推荐，往往能够产生更好的推荐性能。

二、深度学习技术

自编码器

自编码器（Ａｕ－ｔｏｅｎｃｏｄｅｒ，ＡＥ）的概念，并将其用于高维复杂数据处理．自编码器通过一个编码和一个解码过程来重构输入数据，学习数据的隐层表示．基本的自编码器可视为一个三层神经网络结构：一个输入层ｘ、一个隐层ｈ和一个输出层ｙ，其中输出层和输入层具有相同的规模。结构如图：

自编码器的目的是使得输入ｘ与输出ｙ尽可能接近，这种接近程度通过重构误差表示。

受限玻尔兹曼机

玻尔兹曼机是一种生成式随机神经网络，ＢＭ由一些可见单元（对应可见变量，亦即数据样本）和一些隐层单元（对应隐层变量）构成，可见变量和隐层变量都是二元变量，其状态取0－１，状态０表示该神经元处于抑制状态，状态１代表该神经元处于激活状态。其中两层之间的节点是全连接的，同层节点间是互不连接的，包括可见层ｖ以及隐层ｈ。

深度信念网络

深度信念网络，其是一种由多层非线性变量连接组成的生成式模型．在深度信念网络中，靠近可见层的部分是多个贝叶斯信念网络，最远离可见层的部分则是一个 RＢＭ。

ＤＢＮ的结构可以看作由多个受限玻尔兹曼机层叠构成，网络中前一个ＲＢＭ的隐层视为下一个ＲＢＭ的可见层。

卷积神经网络

卷积神经网络（ＣＮＮ）已成为当前图像理解领域的研究热点。卷积神经网络是一种多层感知机，主要被用来处理二维图像数据．当网络的输入是多维图像时，通过将图像直接作为网络的输入，从而避免了传统图像处理算法中复杂的特征提取和数据重建过程．卷积神经网络的基本结构由输入层、卷积层、下采样层（池化层）、全连接层和输出层构成。

循环神经网络

１９８６年提出循环神经网络（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ，ＲＮＮ）的概念．普通的全连接网络或卷积神经网络，是从输入层到隐层再到输出层的结构，层与层之间是全连接的，每层之间的节点是无连接的。

ＲＮＮ的最大特点在于神经网络各隐层之间的节点是具有连接的，就是说ＲＮＮ能够对过去的信息进行记忆。理论上来说，ＲＮＮ能够对任意长度的序列数据进行建模，但在实际应用中往往假设当前状态仅与前几个时刻的历史状态相关，从而帮助降低模型的复杂度

四、基于深度学习的推荐系统

基于深度学习的推荐系统通常将各类用户和项目相关的数据作为输入，利用深度学习模型学习到

用户和项目的隐表示，并基于这种隐表示为用户产生项目推荐．

包含输入层、模型层和输出层．输入层的数据主要包括：用户的显式反馈（评分、喜欢／不喜欢）或隐式反馈数据（浏览、点击等行为数据）、用户画像（性别、年龄、喜好等）和项目内容（文本、图像等描述或内容）数据、用户生成内容（社会化关系、标注、评论等辅助数据）

1、深度学习在基于内容的推荐系统中的应用

1）深度结构化语义模型

将深度结构化语义模型（ＤｅｅｐＳｔｒｕｃｔｕｒｅｄＳｅｍａｎｔｉｃＭｏｄｅｌｓ，ＤＳＳＭ）进行扩展，提出了一种多视角深度神经网络模型（Ｍｕｌｔｉ－ＶｉｅｗＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ，Ｍｕｌｔｉ－ＶｉｅｗＤＮＮ），该模型通过用户和项目两种信息实体

的语义匹配来实现用户的项目推荐，是一种实用性非常强的基于内容的推荐方法．

2）深广学习模型

通过利用用户特征、情境特征和项目特征等多源异构数据，提出了一种深广学习（Ｗｉｄｅ＆ＤｅｅｐＬｅａｒｎｉｎｇ）模型，用于手机ＡＰＰ推荐，模型同时具有了高的记忆（ｍｅｍｏｒｉｚａｔｉｏｎ）能力和泛化（ｇｅｎｅｒａｌｉｚａｔｉｏｎ）能力．

记忆主要依靠统计方法，通过关联学习分析历史记录中的共现现象，主要利用了相关性，不具有泛化性且需要手动特征工程。

3）基于ＭＬＰ的广告点击率预测

为了有效建模这类数据，学习特征之间的交互至关重要．其中一种思路是利用ＭＬＰ直接学习特征之间的交互。例如Ｄｅｅｐ＆Ｃｒｏｓ。ＤｅｅｐＣｒｏｓｓｉｎｇ的模型结构是由一个嵌入层、一个堆栈层、一个残差单元和一个评分层组成的多层感知机。

另一种思路是结合因子化机与ＭＬＰ，首先利用因子化机建模特征之间的成对交互，然后通过增加全连接层来进一步建模高阶的特征交互，例如ＰＮＮ。基于因子化机模型和ＭＬＰ提出了一个基于产品的神经网络模型（Ｐｒｏｄｕｃｔ－ｂａｓｅｄＮｅｕｒａｌＮｅｔｗｏｒｋ，ＰＮＮ）．PNN由一个特征嵌入层、一个成对特征交互层和两个全连接层组成．

基于ＭＬＰ的ＹｏｕＴｕｂｅ视频推荐方法

Ｃｏｖｉｎｇｔｏｎ等人通过利用用户信息、情境信息、历史行为数据和项目的特征信息等多源异构数据，提出了一种深度神经网络模型用于ＹｏｕＴｕｂｅ视频推荐。Ｃｏｖｉｎｇｔｏｎ等人提出的方法的模型架构：

基于卷积神经网络

基于注意力ＣＮＮ

基于注意力的卷积神经网络（ＣＮＮ）来进行微博中的Ｈａｓｈｔａｇ推荐．总的来说，将Ｈａｓｈｔａｇ推荐作为一个多标记分类问题，ＣＮＮ被作为一种特征提取手段来获取微博的特征．

基于循环神经网络的方法

基于注意力的ＲＮＮ

基于注意力的ＬＳＴＭ来进行微博中的Ｈａｓｈｔａｇ推荐，注意力机制与ＲＮＮ结合的优势是能够抓住文本的序列特征，同时能够从微博中识别最具有信息量的词．模型首先利用ＬＳＴＭ来学习微博的隐状态（ｈ１，ｈ２，…，ｈＮ），同时采用主题模型来学习微博的主题分布．模型的架构如图：

基于深度信念网络的方法

传统的基于内容的音乐推荐将音乐内容特征提取与音乐推荐分为两个独立过程，这可能导致推荐性能的不足，通过深度信念网络和概率矩阵分解（ＰｒｏｂａｂｉｌｉｓｔｉｃＭａｔｒｉｘＦａｃｔｏｒｉｚａｔｉｏｎ，ＰＭＦ）将两个过程组合到一个统一框架中，提升了音乐推荐的性能。

2、深度学习在协同过滤中的应用

基于ＲＢＭ的协同过滤

2017年，首次提出一种基于受限玻尔兹曼机的协同过滤推荐模型．假设有ｍ部电影，则使用ｍ个Ｓｏｆｔｍａｘ单元来作为可见单元构造ＲＢＭ．每个用户都有一个单独的ＲＢＭ，对于不同的ＲＢＭ仅仅是可见单元不同，因为不同的用户会对相同的电影打分，因此所有这些ＲＢＭ的可见单元共享相同的偏置以及可见单元与隐层单元的连接权值Ｗ。

基于自编码器的协同过滤方法

自编码器也被应用于协同过滤中，其通过对用户或项目的显式或隐式反馈数据进行重构，能够学习用户或项目的隐表示，并基于这种隐表示预测用户对项目的偏好，通过最小化自编码器的重构误差 l（Ｒｉ，Ｒ′ｉ）训练得到模型的参数，最后对未知评分进行预测：

基于自编码器的协同过滤方法的模型架构:

3、深度学习在混合推荐系统中的应用

基于自编码器的混合推荐方法

当前，自编码器在基于深度学习的混合推荐方法中应用最为广泛．基于自编码器的混合推荐方法的基本架构如图，自编码器由于具有强的表示学习能力，很自然地用来从用户特征Ｘ或项目特征Ｙ中学习用户隐表示Ｕ或项目隐表示Ｖ。

协同深度学习模型

提出一种贝叶斯版本的降噪自编码器模型，即贝叶斯栈式降噪自编码器模型（ＢａｙｅｓｉａｎＳＤＡＥ），然后组合ＢａｙｅｓｉａｎＳＤＡＥ和概率矩阵分解，提出了一种协同深度学习（ＣｏｌｌａｂｏｒａｔｉｖｅＤｅｅｐＬｅａｒｎｉｎｇ，ＣＤＬ）混合推荐方法．该方法主要利用项目的文本类辅助数据，采用ＢａｙｅｓｉａｎＳＤＡＥ学习项目的隐表示．

基于深度学习的位置社交网络序列模式建模

基于ＭＬＰ的推荐方法

ＰＯＩ推荐方法都是针对特定的数据和问题而设计，提出了一种通用的半监督学习模型，即偏好与情境嵌入模型（ＰｒｅｆｅｒｅｎｃｅａｎｄＣｏｎｔｅｘｔＥｍｂｅｄｄｉｎｇ，ＰＡＣＥ），能够利用相邻用户和位置的信息来缓解推荐系统的数据稀疏问题．ＰＡＣＥ首先构建情境图作为观测数据，包括利用位置间的距离构建的位置图，以及利用用户间的朋友关系构建的用户图．