基于Python开发带差分隐私采用协同过滤的推荐系统 毕业设计.gz

# 基于Python实现推荐系统 ## 第一章 绪论 ### 研究背景及意义 ​ 当今社会，互联网与移动互联网的普及与发展十分迅速，各类网络应用与移动 App 已经融入到了人们日常工作和生活的各个方面，比如即时通讯、社交网络、电子商务与电子支付等，人们的日常工作与生活已经离不开移动互联网。在互联网化趋势下，各个行业数据量呈爆炸式增长，人们逐渐从信息匮乏的时代走入了信息过载的时代。在 2011 年，IDC 的研究报告中显示，全球信息总量每过两年，就会增长一倍。而调查显示，这一增速仍在持续加快。10 年前，该机构预测 2020 年全世界的数据量将达 40ZB。而中国信息通信研究院 2020 年 12 月发布的大数据白皮书（2020 年）（[http://www.caict.ac.cn/kxyj/qwfb/bps/202012/t20201229_367255.htm](http://www.caict.ac.cn/kxyj/qwfb/bps/202012/t20201229_367255.htm)）中指出，根据国际权威机构 Statista 的统计和预测，2020 年全球数据产生量预计达到 47ZB，比十年前的预测有一个重量级的增长。2018 年 11 月 IDC 白皮书《DataAge2025》的预测表示，这一数字将在 2025 年来到 175ZB。这使得人们在获取丰富多彩的信息内容的同时，沉浸于信息海洋而难以及时、准确地获得满足其自身需要的信息。 ​ 信息过载的主要解决方法有两种：一是搜索，二是推荐。搜索是一种良好的解决方案，但搜索引擎解决的只是人们主动搜索数据的请求，而且需要人们对自己的需求有明确的认识，但是人们通常没有办法十分准确地描述出自己的需求和喜好，因此搜索没有办法满足人们日益增长的对个性化信息的需求。在这个背景下，推荐应运而生。凭借可以主动提供符合用户需求的信息这一优点，应用推荐算法的推荐系统已经被大量运用到各行各业中，成为了互联网中不可或缺的一个环节。我们平时在各个购物网站、新闻网站和影音网站都可以见到推荐系统的身影，比如淘宝、今日头条和 Netflix，这些公司的 APP 都会根据用户的兴趣来进行推送。  图 1 手机淘宝的推荐页 ​ 协同过滤是迄今为止较为成功、使用最广泛的推荐算法之一。亚马逊和 Netflix 都是应用协同过滤而大获成功的网站。从思路上来说，推荐系统在为用户建立定制化服务时，首先获取并分析用户的各类数据，然后学习用户的偏好和兴趣从而为用户推荐他所需要的信息和服务。近年来，帮助用户快速找到自己所需信息的推荐技术成为计算机领域研究的热点。然而，因为推荐系统进行推荐，首先需要收集大量的用户行为和使用习惯，例如用户的评分记录、浏览记录和购买信息等。而且用户行为数据越丰富，得到的推荐结果也就相对越准确。也正是因此，这些信息中存在着泄露用户个人隐私的风险。2006 年，AOL 发布了 Web 搜索日志数据集，其中包含了 650000 用户三个月内的搜索记录。AOL 将用户的 user id 隐去，以随机数字代替。然而 No.4417749，一位妇人 Arnold 仍被找了出来。搜索日志中包含她的姓，附近地址的名字，生活信息等，攻击者将这些信息与 phonebook 结合找出了这位 No.4417749 的真实身份。2009 年，Netflix 发布了电影评分数据集，用于一项数据挖掘竞赛。该竞赛希望能够通过用户的历史评分来预测用户对电影的偏好。数据包括用户对一系列电影的评分记录，经匿名化处理抹去了用户 id。然而若攻击者有某个用户的部分评分记录，就能够很快判断出这个用户是否出现在了数据集中。攻击者通过 IMDB 用户的若干评分记录来定位它在数据集中的位置，从而该用户的整条记录都被发掘。 ​ 随着使用互联网应用的用户人数不断增加和互联网应用使用频率的不断提高，隐私保护成为了一个非常重要的研究方向。尽管推荐系统有其便捷性和高效性，但是对用户隐私的威胁成为了该系统在实际应用中的一个很大的障碍。如果用户想要获得更加有效的推荐，则需要提供他们自己的评分数据或者浏览记录，目前还没有一个具体的政策来保护用户隐私问题。前面说到一些公司会把某些数据集公开，这是一种侵害用户隐私的行为。更恶劣的，一些恶意的推荐系统在收集到用户数据之后，会将其出售以获得高额利润。有时候，即使不是一个恶意的推荐系统，数据的意外泄露或者第三方应用的恶意插件也会入侵到数据库中盗取用户的隐私数据。笔者在写此篇论文时，个人数据似乎也遭到了泄露：笔者用电脑在百度搜索了一个旅游景点，不久后手机端的一个视频软件就推送了该旅游景点的攻略。这样的隐私威胁使用户不愿意再交出个人的数据或制造虚假数据，从而降低了数据集的量级和准确度。若想鼓励用户更广泛地参与推荐系统，需要在推荐系统中考虑隐私保护使得用户隐私数据不被泄露。 ​ 在隐去敏感数据、传统加密技术和改变数据内容都无法起到显著效果时，Cynthia Dwork 在 2006 年提出的差分隐私机制解决了这些传统方法的缺陷。它定义了一个极为严格的攻击模型，通过对数据集中的原始信息或者统计数据添加噪声来实现对隐私的保护。因此，即便攻击者拥有除去目标隐私信息外的所有背景知识，数据依然可以得到有效的保护。差分隐私的优点使得它受到国内外学者的广泛关注和研究。但是目前国内外所研究的差分隐私方向大都还只是基础理论或者数据发布领域，在数据挖掘方向的应用研究还不是很多，特别是涉及推荐系统的隐私保护研究领域，目前国内外相关的研究还很少。由于差分隐私保护在实际的应用过程中，大多是通过对数据集或者算法的输出结果中添加噪声来实现，如果不恰当的使用，则会带来不必要的开销，造成数据可用性降低和推荐精确度降低的情况。因此差分隐私在实际应用中，通常会和实际的算法本身相结合，才能在提供差分隐私保护的同时，不影响数据本身的分析与使用。 ​ 因此，研究差分隐私保护技术与协同过滤推荐算法的有机结合，均衡隐私保护和推荐精度，在能提供隐私保护的情况下，降低推荐算法的准确度的损失，在理论与应用层面都具有十分重要的意义。 ### 国内外研究现状 ​ 推荐系统已经经历了几十年的风雨，能有今天的成就，要归功于研究者们的辛勤耕耘。 ​ 自从协同过滤于 1992 年被正式提出以后，通过不断地被赋予更多的含义和技术创新，已经成为最流行的推荐算法之一，但一些典型问题如数据稀疏问题等阻碍着其更进一步地发展。当数据非常稀疏时，用户实际的相似度很难用如今的相似度计算方法来衡量，有时会将不相似的用户选为目标用户的邻居用户，进而影响推荐效果。Lyle 等人提出了基于聚类的协同过滤方法，以用户为例，首先将用户分组到某个集群中，然后将目标用户也分配至最相似的那个集群中，最后在该集群中为目标用户寻找邻居进行推荐。对于维度较高的大规模数据集，使用这类方法之前还需要进行降维或采样。之后，有些研究者通过采用不同的聚类策略来达到更优的推荐效果，但是在可扩展性上表现得不尽如人意。 ​ 自 NetFlix 大�