没有合适的资源?快使用搜索试试~ 我知道了~
安徽省大数据比赛环境搭建资料是一份全网最全的指南,旨在帮助参赛者快速搭建起一个稳定、高效的大数据处理环境。这份资料不仅包含了详细的搭建步骤和操作指南,还提供了丰富的实践案例和常见问题解答,让参赛者能够轻松应对各种数据处理挑战。 首先,这份资料详细介绍了大数据平台的搭建过程,包括硬件选择、软件安装、网络配置等方面的知识。无论是初学者还是有经验的数据工程师,都能够从中找到适合自己的搭建方案。同时,资料还提供了多种主流大数据处理框架的搭建方法,如Hadoop、Spark等,让参赛者可以根据自己的需求选择合适的框架进行搭建。 其次,这份资料还包含了丰富的实践案例和问题解答,帮助参赛者解决在搭建过程中遇到的各种问题。这些案例涵盖了大数据处理的各个方面,如数据清洗、数据分析、数据可视化等,让参赛者能够更好地了解大数据处理的实际应用。 最后,这份资料还提供了一些优化建议和技巧,帮助参赛者提高大数据处理的效率和稳定性。通过学习这些优化技巧,参赛者可以更好地发挥大数据处理平台的性能,提高比赛的成绩。 安徽省大数据比赛环境搭建资料是一份非常实用且全面的指南,无论你是大数据处理的初学者还是参赛选手。
资源推荐
资源详情
资源评论
1
一、配置 hosts 实现主机名和 ip 地址映射 ................................................. 3
1.使用 ifconfig 命令查看三台机器的 ip 地址 ........................................... 3
2.配置/etc 下的 hosts 文件 ......................................................... 3
二、配置 SSH 免密登录 ................................................................. 3
1.在每台机器上依次执行 ............................................................ 3
2.在主机上登录其他两台机器 ......................................................... 3
三、JDK 安装 ......................................................................... 4
1.在/opt 目录下创建 software 和 module 目录 .......................................... 4
2.拷贝/data 目录下的压缩包 ......................................................... 4
3.解压 jdk 安装包 ................................................................. 4
4.获取 jdk 安装目录 ................................................................ 4
5.配置环境变量 ................................................................... 4
6.重新加载下环境变量 .............................................................. 4
7.分发下 jdk 安装目录和 hosts 文件以及环境变量到其他机器 ............................... 4
四、Hadoop 安装 ...................................................................... 5
1.解压压缩包 ..................................................................... 5
2.获取 hadoop 安装目录 ............................................................. 5
3.配置 Hadoop 的环境变量 ........................................................... 5
4.重新加载下环境变量 .............................................................. 5
5.修改配置文件 ................................................................... 5
6.分发 hadoop 安装目录和环境变量 .................................................... 7
7.Hadoop 集群初始化 ............................................................... 7
8.启动 HDFS 和 yarn ................................................................ 8
五、MySQL 安装 ....................................................................... 9
1.检查当前系统是否安装过 MySQL ..................................................... 9
2.解压 tar 包 ..................................................................... 9
3.安装 ........................................................................... 9
4.查看/etc/my.cnf 文件中 datadir 指向的目录,删除该目录下的所有文件 ................... 10
5.初始化数据库 .................................................................. 10
6.启动 MySQL 服务(开机自启的) ..................................................... 10
7.查看临时生成的 MySQL 密码 ....................................................... 10
8.登录 MySQL (输入上面生成的临时密码) ............................................. 10
9.修改数据库 root 用户的密码 ...................................................... 11
10.设置外部访问 MySQL 数据库 ...................................................... 11
11.MySQL 的用法 ................................................................. 11
六、Hive 安装 ....................................................................... 13
1.解压 hive ..................................................................... 13
2.修改名称为 hive ................................................................ 13
3.修改/opt/module/hive/conf 下的 hive-env.sh.template 名称为 hive-env.sh ........... 13
4.配置 hive-env.sh 文件 .......................................................... 13
5.配置 hive 的全局环境(/etc/profile 和/etc/profile.d/my_env.sh) .................. 13
6.Hive 元数据配置到 MySQL ......................................................... 13
7.Hive 的用法 ................................................................... 15
七、Sqoop 安装 ...................................................................... 16
1.解压 Sqoop 安装包 .............................................................. 16
2
2.修改名称 ...................................................................... 16
3.配置环境变量 .................................................................. 16
4.重新加载下环境变量 ............................................................. 16
5.修改 Sqoop 配置文件(先获取 hadoop 的安装目录) .................................... 16
6.拷贝 JDBC 驱动 ................................................................. 16
7.查看 Sqoop 版本 ................................................................ 16
8.测试 Sqoop 是否能够连接数据库 .................................................... 16
9.编写 Sqoop 数据采集脚本配置脚本将 MySQL 中的 student 数据采集到 HDFS 中 ............... 17
(1)编写数据采集脚本 job.opt ................................................... 17
(2)执行脚本 .................................................................. 17
10.编写 Sqoop 数据采集任务配置脚本,将 MySQL 的 student 数据中 age 年龄字段大于等于 25 的学生
数据采集至 HIVE 中 ................................................................ 18
(1)[报错] sqoop 报 Make sure HIVE_CONF_DIR 问题 ................................ 18
(2)[报错] sqoop 导入数据到 hive[Error]: Database does not exist ................ 19
(3)执行脚本先 Hive 中导入数据 .................................................. 19
(4)检查环境是否生效 .......................................................... 20
八、Zookeeper 安装 .................................................................. 20
1.解压 Zookeeper 安装包 .......................................................... 20
2.改名 .......................................................................... 20
3.配置环境变量 .................................................................. 21
4.在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData 文件夹 ....................... 21
5.在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件 ................... 21
6.在 conf 下复制 zoo_sample.cfg 为 zoo.cfg 并修改,在配置中增加三台节点 ................ 21
7.拷贝配置好的 Zookeeper 到其他机器上 .............................................. 21
8.分发环境变量 .................................................................. 22
9.分别启动 Zookeeper ............................................................. 22
10.查看状态 ..................................................................... 22
11.客户端命令行操作 .............................................................. 22
(1)启动客户端(先要开启 zookeeper 服务) ......................................... 22
(2)显示所有操作命令 .......................................................... 22
九、Flume .......................................................................... 23
1.解压 flume 安装包 .............................................................. 23
2.重命名为 flume ................................................................. 23
3.配置环境变量(profile) .......................................................... 23
4.配置 flume 的配置文件 ........................................................... 23
5.flume 版本验证(flume-ng version) ............................................... 23
十、Spark .......................................................................... 24
1.解压 spark 安装包 .............................................................. 24
2.重命名为 spark ................................................................. 24
3.配置 spark 的环境变量 ........................................................... 24
4.配置 spark 的配置文件 ........................................................... 24
5.编辑 slaves,添加子节点的主机名 .................................................. 24
6.分发 spark 到其他机器 ........................................................... 25
7.启动 spark 集群 ................................................................ 25
8.分别在主节点和从节点执行 jps .................................................... 25
9.在主节点执行 spark-shell 命令 ....................................................................................................................................25
3
一、配置 hosts 实现主机名和 ip 地址映射
1.使用 ifconfig 命令查看三台机器的 ip 地址
[root@Competitionmaster ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.130.101 netmask 255.255.255.0 broadcast 192.168.130.255
inet6 fe80::dffa:b89:4a4c:e493 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:2f:53:ea txqueuelen 1000 (Ethernet)
RX packets 996764 bytes 1417689819 (1.3 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 50875 bytes 6553420 (6.2 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1000 (Local Loopback)
RX packets 32 bytes 2592 (2.5 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 32 bytes 2592 (2.5 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
2.配置/etc 下的 hosts 文件
[root@Competitionmaster ~]# vi /etc/hosts
192.168.130.101 Competitionmaster
192.168.130.102 Competitionnode1
192.168.130.103 Competitionnode2
二、配置 SSH 免密登录
1.在每台机器上依次执行
ssh-keygen -t rsa
ssh-copy-id 192.168.130.101
ssh-copy-id 192.168.130.102
ssh-copy-id 192.168.130.103
2.在主机上登录其他两台机器
ssh 192.168.130.102
ssh 192.168.130.103
4
三、JDK 安装
1.在/opt 目录下创建 software 和 module 目录
[root@node1 ~]# mkdir -p /opt/software /opt/module
2.拷贝/data 目录下的压缩包
[root@node1 ~]# cp /data /opt/software
3.解压 jdk 安装包
[root@node1 software]# tar -zxf jdk-8u171-linux-x64.tar.gz -C /opt/module/
4.获取 jdk 安装目录
[root@node1 software]# cd /opt/module/jdk1.8.0_171
5.配置环境变量
[root@node1 software]# vi /etc/profile.d/my_env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
6.重新加载下环境变量
[root@node1 software]# source /etc/profile
7.分发下 jdk 安装目录和 hosts 文件以及环境变量到其他机器
[root@node1 software]# scp -r /opt/module root@192.168.130.102:/opt/module
[root@node1 software]# scp -r /opt/module root@192.168.130.103:/opt/module
[root@node1 software]# scp /etc/hosts root@192.168.130.102:/etc/hosts
[root@node1 software]# scp /etc/hosts root@192.168.130.103:/etc/hosts
[root@node1 software]# scp /etc/profile.d/my_env.sh
root@192.168.130.102:/etc/profile.d/my_env.sh
[root@node1 software]# scp /etc/profile.d/my_env.sh
root@192.168.130.103:/etc/profile.d/my_env.sh
5
四、Hadoop 安装
1.解压压缩包
[root@node1 software]# tar -zxf hadoop-2.7.6.tar.gz -C /opt/module/
2.获取 hadoop 安装目录
[root@node1 software]# cd /opt/module/hadoop-2.7.6
3.配置 Hadoop 的环境变量
[root@node1 software]# vi /etc/profile.d/my_env.sh
export HADOOP_HOME=/opt/module/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
4.重新加载下环境变量
[root@node1 software]# source /etc/profile
5.修改配置文件
到 hadoop 安装目录下的 etc/hadoop 目录下,保存以下固定标签在 word 文档中
<property>
<name></name>
<value></value>
</property>
(1)core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.130.101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.6/data/tmp</value>
</property>
剩余24页未读,继续阅读
资源评论
灯把黑夜烧了一个洞
- 粉丝: 5542
- 资源: 166
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功