没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
经典案例
1 安装部署 Hive
问题
依次完成以下 小题的任务:
)在 的 上安装
)验证安装
步骤
实现此案例需要按照如下步骤进行
步骤一:安装 Hive
在 节点上解压缩:,并且重命名为
配置 环境变量,切换到 用户,然后通过 编辑器
编辑:
密码:
打开 编辑器后,按下“键进入插入编辑模式,将以下内
容编辑到文本末尾:
!"#$!%&'
()*%()*+, !"#$!
按“!-.键进入命令行模式,然后输入如下内容保存退出,
然后切换回 ' 用户:
/01
2
启用 3 下的配置文件:
32&&32&
32&2&
&
然后在 中配置 )4##("#$!,通过 编辑器
编辑:
&'3
打开 编辑器后,按下“键输入 )4##("#$! 然后回车,
定位到 )4##("#$! 后,按下“键进行编辑:
)4##("#$!%&'
按“!-.键进入命令行模式,然后输入如下内容保存退出,
然后切换回 ' 用户:
/01
步骤
实现此案例需要按照如下步骤进行
步骤一:建立工程环境
首先将 2 日志和用户对应 的日志载入到 3 中:
3>?&=
3>?&=
其中 的格式为:
&
接下来进入 命令行客户端:
建立一个数据库,专门做分析日志使用,数据库名为 ,
然后使用这个数据库:
78
78
建 立 两 张 表 , 一 张 是 放 置 , 另 一 个 是
放置 ,但是由于 内容过于繁琐且很
多字段毫无意义,因此可以通过 & 做一个简单的处理,将
有用的字段保留无用的字段就可以忽略掉了,具体 & 代码
如下(运行 $@ 大家已经很熟悉,此处不再赘述):
package org.okou.lippen.network.tool.ui;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import
org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.util.AnalysisNginxTool;
import org.util.DateToNUM;
public class AccessLogPreProcess {
public static class AccessLogPreProcessMapper extends
Mapper<Object, Text, Text, NullWritable> {
private Text word = new Text();
public void map(Object key, Text value, Context
context)
throws IOException, InterruptedException{
String itr[] = value.toString().split(" ");
if (itr.length < 11) {
return;
}
String ip = itr[0];
String date =
AnalysisNginxTool.nginxDateStmpToDate(itr[3]);
String url = itr[6];
String urlref = itr[10];
word.set(ip + "," + date + "," + url + ","
+urlref);
context.write(word, NullWritable.get());
}
}
剩余25页未读,继续阅读
资源评论
xiaoli_shen
- 粉丝: 1
- 资源: 37
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功