推荐系统实践

数据算法--HadoopSpark大数据处理技巧.pdf

数据算法--HadoopSpark⼤数据处理技巧 data algorithms部分主题⾃写scala程序实现 SecondarySort (chapter 1) data 2015,1,1,10 2015,1,2,11 2015,1,3,12 2015,1,4,13 2015,2,1,22 2015,2,2,23 2015,2,3,24 2015,2,4,25 2015,3,1,20 2015,3,2,21 2015,3,3,22 2015,3,4,23 2015,3,4,23 2015,1,3,12 2015,2,2,23 code import org.apache.spark.sql.SparkSession import org.apache.spark.{Partitioner, SparkConf} class SecondarySortPartitioner(val v: Int) extends Partitioner { override def numPartitions: Int = { v } override def getPartition(key: Any): Int = key match { case (k: String, v: Int) => math.abs(k.hashCode % numPartitions) case null => 0 case _ => math.abs(key.hashCode % numPartitions) } } object SecondarySort { def main(args: Array[String]): Unit = { System.setProperty("hadoop.home.dir", "C:\\winutils-master\\hadoop-2.6.3") val conf = new SparkConf().setMaster("local").setAppName("SecondarySort") val context = SparkSession.builder().config(conf).getOrCreate().sparkContext val rdd = context.textFile("C:\\Users\\IdeaProjects\\spark_learning\\test.txt") val step1 = rdd.map(line => line.split(",")) .map(line => ((line(0) + "-" + line(1), line(3).toInt), line(3).toInt)) val step2 = step1.repartitionAndSortWithinPartitions(new SecondarySortPartitioner(4)) .map { case (k, v: Int) => (k._1, v.toString) }.reduceByKey((x, y) => x + "," + y) step2.foreach(println) } } CommonFriends (chapter 8) data 100,200 300 400 500 600 200,100 300 400 300,100 200 400 500 400,100 200 300 500,100 300 600,100 code import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.sql.SparkSession import scala.collection.mutable.ArrayBuffer object CommonFriends { def main(args: Array[String]): Unit = { System.setProperty("hadoop.home.dir", "C:\\winutils-master\\hadoop-2.6.3") val conf = new SparkConf().setMaster("local").setAppName("CommonFriends") val spark = SparkSession.builder().config(conf).getOrCreate() import spark.implicits._ val context = SparkSession.builder().config(conf).getOrCreate().sparkContext val rdd = context

数据算法: Hadoop+Spark大数据处理技巧.pdf

数据算法: Hadoop+Spark大数据处理技巧，pdf，高清，带书签，下载下来解压即可

数据算法 Hadoop Spark大数据处理技巧 中文PDF

《数据算法：Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案，以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和Spark。

数据算法 Hadoop Spark大数据处理技巧

数据算法 Hadoop Spark大数据处理技巧··································································

数据算法 Hadoop Spark大数据处理技巧.zip

学习大数据经典书籍。学习Hadoop最权威书籍。介绍Hadoop各项技术。

Hadoop Spark大数据处理技巧

大数据开发技巧，包括聚类、关联、回归、共同好友算法等。有两部分，要同时解压才有用。

Hadoop/Spark大数据处理技巧

《数据算法：Hadoop/Spark算法》全书的PDF版，非影印非影印非影印！采用拍照的方式拍的，高清清晰

数据算法 Hadoop_Spark大数据处理技巧 ,马哈默德·帕瑞斯安 ,P680 ,2016.10.pdf

本书介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案，以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这本书还概要介绍了MapReduce、Hadoop和Spark。

论文研究-一种Spark环境下的高效率大规模图数据处理机制.pdf

其次，通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计图数据处理框架。最后通过PageRank和SSSP算法设计实验，与MapReduce框架和采用HDFS作...

数据算法 Hadoop Spark大数据处理技巧

《数据算法：Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案，以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和Spark。 　　主要内容包括： 　　■ 完成超大量交易的购物篮分析。 　　■ 数据挖掘算法（K-均值、KNN和朴素贝叶斯）。 　　■ 使用超大基因组数据完成DNA和RNA测序。 　　■ 朴素贝叶斯定理和马尔可夫链实现数据和市场预测。 　　■ 推荐算法和成对文档相似性。 　　■ 线性回归、Cox回归和皮尔逊（Pearson）相关分析。 　　■ 等位基因频率和DNA挖掘。 　　■ 社交网络分析（推荐系统、三角形计数和情感分析）。

数据算法：Hadoop、Spark大数据处理技巧

资源名称：数据算法：Hadoop、Spark大数据处理技巧资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。

数据算法-Hadoop Spark大数据处理技巧

数据算法-Hadoop Spark大数据处理技巧 1.

数据算法：Hadoop／Spark大数据处理技巧

数据算法：Hadoop／Spark大数据处理技巧

Spark原著中文版

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点...

大数据处理流程.pdf

⼤数据处理流程 ⼤数据处理流程 1． 数据处理流程 ⽹站流量⽇志数据分析是⼀个纯粹的数据分析项⽬，其整体流程基本上就是依据数据的处理流程进⾏。有以下⼏个⼤的步骤： 1.1 数据采集 数据采集概念，⽬前⾏业会有两...

论文研究-基于Spark无线城市社团发现算法的研究.pdf

针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题，引入...实验结果表明，S-T-CS算法解决了生成结果冗余的问题，降低了时间代价，提升了社团发现算法的运行速度和对海量数据的处理能力。

论文研究-Spark平台下的凸包问题研究.pdf

随着移动互联网时代的到来，越来越多的含地理位置信息的空间数据需要处理，如何在海量的空间数据中进行常见的几何查询成为一个挑战，凸包问题因其在模式识别、图像处理、统计学、地理信息系统、博弈论、图论等领域中...

安全数据科学分享.pdf

FrameWork • 机器学习的基本概念 • 机器学习在安全领域的应用 • 如何入门和学习安全数据分析 ..... 如何学习安全数据分析? 1、先学习基本的算法原理,补充...5、学习大规模数据处理——spark hadoop storm 6、.....

数据算法++Hadoop+Spark大数据处理技巧

数据算法++Hadoop+Spark大数据处理技巧相关的源码，该源码是最新的支持 hadoop2.6.x,spark 2.3.x，scala 2.11.x

数据算法 Hadoop Spark大数据处理技巧(1/3)

中文版，一共3卷，第1卷。了解spark技术内幕 了解spark技术内幕

数据算法Hadoop/Spark大数据处理技巧 源代码

数据算法Hadoop/Spark大数据处理技巧 源代码 内有部分数据集

数据算法 Hadoop Spark大数据处理技巧(3/3)

中文版，一共3卷，第3卷。了解spark技术内幕 了解spark技术内幕

大数据基础知识入门.pdf

Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark在借鉴Hadoop MapReduce优点的同时，很好地解决了MapReduce所面临的问题。 Spark的计算模式也属于MapReduce，但不局限于Map和Reduce...

数据算法 Hadoop Spark大数据处理技巧(2/3)

中文版，一共3卷，第2卷。了解spark技术内幕 了解spark技术内幕