mysql 5.5升级到5.7
升级mysql数据库,从5.5.46升级到5.7.9
在自己的机器上配置spark的本地开发模式,可以用来测试spark代码是否正确,如果没问题,可以提交到spark集群上去运行,免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建,所以就自己鼓捣了下,分享出来让有同样需求的同学参考下。 1.下载和安装jdk和scala,这个不用多说了,我安装的jdk版本是jdk 1.7,scala版本2.10.4 2.下载hadoop的安装包,我下载的是hadoop-2.6版本的,配置HADOOP_HOME 和配置JAVA_HOME类似,不多说了 3.把附件架包中的winutils.exe 添加到hadoop/bin目录下,这个是用来在windows下调用hadoop命令的 4.下载IDEA 配置好jdk和scala,创建scala项目 5.把附件中的架包解压后添加到scala项目的library中,因为受上传权限的限制,就不上传最大的一个spark jar包了,这个jar包只要到官网下载spark项目就能获得,我用的版本是:spark-assembly-1.3.0-cdh5.4.5-hadoop2.6.0-cdh5.4.5.jar 6.附件中还自带了一个测试文件,用来测试spark环境是否搭建好,文件名为:Test.scala
hortenworks hadoop 2.2 集群安装详细步骤,文档里详细描述了如何通过ambari一步步离线安装hadoop集群,里面也讲解了一些注意的事项和安装出现问题时的解决方法,希望能对大家有帮助