京东基于Spark的风控系统架构实践和技术细节


-
互联网的迅速发展,为电子商务兴起提供了肥沃的土壤。2014年,中国电子商务市场交易规模达到13.4万亿元,同比增长31.4%。其中,B2B电子商务市场交易额达到10万亿元,同比增长21.9%。这一连串高速增长的数字背后,不法分子对互联网资产的觊觎,针对电商行业的恶意行为也愈演愈烈,这其中,最典型的就是黄牛抢单囤货和商家恶意刷单。黄牛囤货让广大正常用户失去了商家给予的优惠让利;而商家的刷单刷好评,不仅干扰了用户的合理购物选择,更是搅乱了整个市场秩序。京东作为国内电商的龙头企业,在今天遭受着严酷的风险威胁。机器注册账号、恶意下单、黄牛抢购、商家刷单等等问题如果不被有效阻止,会给京东和消费者带来难以

Spark开发工程师(含项目)
2019-02-21<p> <span style="color:#424242;">本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。</span> </p> <p> <span style="color:#424242;"><br /> </span> </p>
2.53MB
基于Spark的电影推荐系统
2018-04-17本课程论文阐述了spark和spark集成开发环境Intellij IDEA的安装与操作,也详细说明了基于Spark的电影推荐系统的开发流程。推荐引擎是最常用的机器学校应用,我们可以在各大购物网站上看到这方面的应用。基于Spark的电影推荐系统是使用Spark MLlib的ALS推荐算法,对会员电影评分数据和观看记录的数据构建协同过滤式的推荐引擎,对历史数据进行训练创建模型进行针对用户推荐电影和针对电影推荐用户的推荐功能,由此来增加会员观看电影的次数。
516KB
基于Spark的推荐系统的设计与实现
2018-06-20推荐系统是数据挖掘的一个重要部分,能够实现海量数据信息的快速、全面、准确过滤。然而基于以往传统单个主机模式实现的推荐算法其计算过程耗费的时间过长,已经不能满足当前商业时代快速可靠的技术追求。大数据平台Spark分布式计算框架通过引入RDD(弹性分布式数据集)的概念以及基于内存的运算模式,能够更好的适应大数据挖掘这一应用场景。推荐算法在实现过程中存在多次迭代计算,Spark计算框架的使用可以极大提升推荐系统的运算效率。本文利用Spark平台设计了一个基于物品的协同过滤(Item-CF)算法的商品推荐系统,并将其应用在Movie Lens数据集上运行测试。实验结果表明,该系统能够提高推荐精确度并降低运算时间,为继续深入研究大数据平台的推荐算法提供借鉴和帮助。
79.14MB
基于spark的大数据论文资料
2018-12-17本资料是集合20篇知网被引最高的基于spark的大数据论文,包括大数据Spark技术研究_刘峰波、大数据下基于Spark的电商实时推荐系统的设计与实现_岑凯伦、基于Spark的Apriori算法的改进_牛海玲、基于Spark的大数据混合计算模型_胡俊、基于Spark的大数据挖掘技术的研究与实现_李文栋、基于Spark的机器学习平台设计与实现_唐振坤、基于Spark的机器学习应用框架研究与实现_孙科、基于Spark的若干数据挖掘技术研究_宁永恒、基于Spark平台推荐系统研究_杨志伟等高质量的论文。
1.21MB
spark基本架构及原理
2018-12-02大数据中spark的基本架构和原理,有需要的可以下载看一下!
5.65MB
基于spark的电影推荐系统数据集
2015-05-27基于spark的电影推荐系统数据集
22.66MB
Spark技术内幕深入解析Spark内核架构设计与实现原理
2017-12-04Spark技术内幕深入解析Spark内核架构设计与实现原理 Spark技术内幕深入解析Spark内核架构设计与实现原理
1.63MB
基于Spark的大数据挖掘技术的研究
2018-06-22Spark在实际的工业生产和实践中已经获得了广泛的应用,但是由于其诞生的时间较晚,版本更新速度慢。现阶段,使用Spark框架在某些具体的大数据场景中能对其挖掘,就要结合原有的模块改写部分功能,发挥其应有的作用。解决大数据挖掘问题的同时,Spark框架由于功能性不足,如进行机器学习库的时候的MLlib里面解决关联新问题的分布式机器学习算法还有不足之处。故此,该文就Spark大数据挖掘技术开展深入的研究,希望能为该领域研究提供参考。
59.61MB
Python-基于Spark的电影推荐系统包含爬虫项目web网站后台管理系统以及spark推荐系统
2019-08-10基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统
58.94MB
基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统
2019-11-03基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统
1.82MB
Spark-streaming 在京东的项目实践
2014-10-25Spark-streaming 在京东的项目实践,是Spark Streaming的一个很成功的应用
13.24MB
基于Spark平台推荐系统研究_杨志伟
2016-10-15spark硕士论文
765KB
基于Spark的交互式数据预处理系统
2018-06-22高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.
7.43MB
基于Spark的数据处理分析系统的设计与实现
2017-10-25基于Spark的数据处理分析系统的设计与实现随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。寻求有效的大数据处理技术、方法和手段已经成为现实世界...
5.60MB
完整基于spark的电影推荐系统数据集
2018-09-07完整的基于spark的电影推荐系统数据集,保证可用,积分给少一点,大家放心下载吧
8.9MB
基于Spark大数据电商推荐系统源码
2020-10-13大数据项目电商推荐系统经修改过的源码,已运行出来,论文可联系我获取。 免积分下载,如遇需要积分是csdn根据下载量自动累加设置的,请联系我设置免积分下载。 文章链接https://blog.csdn.net/qq_43265673/article/details/101790686
222KB
电影推荐系统:基于spark、hadoop、kafka、MongoDB、angular等大数据框架实现实时+离线推荐
2019-03-21基于spark、hadoop、kafka、MongoDB、flume、elasticseach、angular等大数据框架实现实时+离线推荐,文件里面是源代码,还附送教学视频,让零基础的新手也能快速实现该系统,从而获得一个拿得出手的项目,帮助大家转型大数据或找工作等。
513KB
论文研究-基于Spark的Web推荐系统的设计与实现 .pdf
2019-08-19基于Spark的Web推荐系统的设计与实现,黄成,阮军,随着Web技术的高速发展,网络用户的数量的持续增长,网络资源的不断丰富,如何为用户快速、准确的推荐高质量的结果变得十分重要。
22.75MB
Spark技术内幕 深入解析Spark内核架构设计与实现原理 ,张安站著 ,P202
2018-02-10spark 技术内幕 张安站 spark 技术内幕 张安站 spark 技术内幕 张安站
-
下载
mapbox加载带高度的建筑白膜全流程
mapbox加载带高度的建筑白膜全流程
-
下载
计算文件夹下所有文件的MD5值
计算文件夹下所有文件的MD5值
-
下载
matlab等分圆环并切割
matlab等分圆环并切割
-
下载
db.properties
db.properties
-
下载
获取电脑名.vi,连接MES时需要获取电脑名
获取电脑名.vi,连接MES时需要获取电脑名
-
下载
tab等于几个space经验总结.txt
tab等于几个space经验总结.txt
-
下载
Student.java
Student.java
-
下载
gif4j-1.1.1.zip,gif4j.jar
gif4j-1.1.1.zip,gif4j.jar
-
下载
魅蓝adb+Debloater工具.zip
魅蓝adb+Debloater工具.zip
-
下载
vc 调用wps.txt
vc 调用wps.txt
