没有合适的资源?快使用搜索试试~ 我知道了~
原生Hadoop平台.pdf
需积分: 1 0 下载量 69 浏览量
2021-11-15
15:41:24
上传
评论
收藏 2.59MB PDF 举报
温馨提示
试读
15页
hive和mariadb的安装与配置
资源推荐
资源详情
资源评论
一、大数据平台的分类
1、Apache 原生大数据平台构建(2.7.1)
1、1 使用场景:学术、研究、科研、测试、学习
1、2 特点:占用硬件资源小
2、CDH 大数据平台的构建(15.5)
2、1 使用场景:实际生产环境中应用较多,如 BAT 等企业,在大数据计
算、实时 BI 项目中都在使用
2、2 特点:占用硬件资源非常大(单节点配置:16 核+32GRAM+硬盘
2T 以上)、性能稳定、具有统一管理服务组件和 Web 可视化界面 、易
于维护和对组件服务的增删、集群的扩容。
3、HDP 大数据平台
3、1 使用场景:实际的生产环境中应用仅次于 CDH,在实际商业 BI 项
目、电商项目中应用较多。
3、2 特点:占用硬件资源也仅次于 CDH,介于原生 Apache 和 CDH 之
间,性能稳定、具有统一管理服务组件(Ambari)和 Web 可视化界面 、
易于维护和对组件服务的增删、集群的扩容。平台搭建部署需要一定的经
验和熟练的对 Linux 操作技术,对 Python 环境要求较高,平台构建失败
率较大。是雅虎子公司旗下产品。
二、构建原生 Apache 大数据平台
1、环境准备:Cent OS 7.2 样板机 --> 克隆多个节点
1.1 关防火墙
# systemctl stop firewalld 关闭防火墙
# systemctl disable firewalld 禁用防火墙
# firewall-cmd --state 查看防火墙状态
1.2 关 SELinux
是系统的安全层,主配置文件在/etc/selinux/下,可以通
过命令和修改主配置文件的方式来实现关闭,两者区别在于,
前者是临时性关闭,后者是永久性关闭。
命令方式:
查看 getenforce
设置 setenforce 0 -- 临时关闭 SELinux 保护
永久关闭:vi /etc/selinux/conf
selinux=disabled
1.3 配置 JDK(jdk1.8)
/etc/profie:
追加
export JAVA_HOME=/opt/bigdata/jdk
export PATH=$PATH:$JAVA_HOME/bin
1.4 配 yum 源
1.5 常用组件安装 vim netstat lrzsz 等
1.6 IP 和主机名映射文件 hosts 配置(包括物理机)
主机名
FQDN 名(域名)
IP 地址
node01
node01.hadoop
192.168.80.152
node02
node02.hadoop
192.168.80.153
node03
node03.hadoop
192.168.80.154
node04
node04.hadoop
192.168.80.155
node05
node05.hadoop
192.168.80.156
*1.7 改主机名
注意:在 Centos7 中使用的命令与 6.x 版本的区别:
1.8 上传并解压 Hadoop 软件包(2.7.1)、连接 Everedit、找
到需要修改的六大配置文件、xshell 命令创建 master 配置文件、mv 命
令或 cp 命令得到 maper-site.xml 文件、添加 slaves 主机列表。
1.9 配置 SSH 免密登录、访问(联机做)
1.10 配置 NTP 时间同步(联机做)
*1.11 配置系统开机自动挂载(注意要先做快照备份)
2、软件准备: FZ Everedit XShell
三、子机克隆和集群运行
1.注意母机(样板机)要处于关机状态进行。
剩余14页未读,继续阅读
资源评论
英雄来自哪里
- 粉丝: 2
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功