没有合适的资源?快使用搜索试试~ 我知道了~
ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,ETL采集hadoop数据,
资源推荐
资源详情
资源评论
ETL 环境操作文档
目 录
环境操作文档
一、 环境配置
操作系统配置
软件配置
二、 连接测试
启动 脚本设计器
打开一个作业,添加 集群配置
点击测试,如下图(标示测试通过,如果出现其他栏目的红叉叉,请联系产品部):
三、 案例演示
文件到
到
到
三、 日志的配置
、转换日志的设置
、作业日志的设置
、日志表说明
一、 环境配置
操作系统配置
获取大数据集群环境的运维访问路径:例如, !""!,点击
【主机】,如下图一所示,将名称和 地址拷贝到操作系统的 # 中,
$%#$如 图二 $%#$# 配置,%&' 如 图三 %&'# 配置。
图一 大数据集群环境节点信息
图二 window 操作系统 hosts 配置
图三 linux 操作系统 hosts 配置
在环境变量中添加 ()*++,-./0-1) 变量,$%#$ 如下图四 ,%&' 如
下图五:
图四 windows hadoop_user_name 环境变量设置
图五 linux hadoop_user_name 环境变量设置
i. 在 liunx 下面安装 C/S ETL 会发生点击闪退,修改文件/common/wydc-ui.sh
里面参数 PENTAHO_DI_JAVA_OPTIONS 中增加:
-Dorg.eclipse.swt.internal.gtk.cairoGraphics=false
软件配置
修改 加载大数据平台版本:
/*2*3%45#66#%5 &3%5 %#7377 &3%5 &3% 4# 48
修改 8## #%93&48#%:
修改对应 ## 版本的配置信息:
/*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 5#%93 4# 48
修改:;6 4#%:7
添加:&%88#%& 4&4 4#4:1+-).(
#47'6(必备)
1. 从集群的任意一个节点机器,从""## "7""#47'6
拷贝文件到
2. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 目录。
vi. 7'6(必备)
1. 从集群的任意一个节点机器,从""## "7""7'6
拷贝文件到
2. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 目录。
vii. mapred-site.xml(必备)
1. 从集群的任意一个节点机器,从
2. ""## "7""6 47'6拷贝文件到
3. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 目录。
4. 添加节点信息
<property>
<name>mapreduce.app-submission.cross-platform</name
>
<value>true</value>
</property>
viii. yarn-site.xml(必备)
1. 从集群的任意一个节点机器,从""## "7""4%7'6
拷贝文件到
2. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 目录。
ix. hive-site.xml(可选)
1. 从集群的任意一个节点机器,从 """7""7'6
拷贝文件到
2. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
#%93&48#%5 目录。
x. hbase-site.xml(可选)
1. 从集群的任意一个节点机器,从"""7""7'6拷
贝文件到
2. /*2*3%45#66#%5 &3%5 %#7377 &3%5## 7
剩余19页未读,继续阅读
资源评论
weixin_36702045
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功