没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HiveHIVE实战项目-Youtube视频网站常规指各项标

HIVE实战项目-Youtube视频网站常规指各项标

hive

hdfs

mapreduce

sqoop

MySQL

0 下载量 46 浏览量 2023-11-24 11:25:12 上传评论收藏 19.73MB DOCX 举报

温馨提示

试读

12页

包含了idea代码关于使用mapreduce清洗数据，以及上传数据到HDFS。包含了hive创表以及sqoop导出数据到MySQL。

资源推荐

资源详情

资源评论

第 11 章 Hive 实战

11.1 需求描述

统计 Youtube 视频网站的常规指标，各种 TopN 指标：

--统计视频观看数 Top10

--统计视频类别热度 Top10

--统计视频观看数 Top20 所属类别

--统计视频观看数 Top50 所关联视频的所属类别 Rank

--统计每个类别中的视频热度 Top10

--统计每个类别中视频流量 Top10

--统计上传视频最多的用户 Top10 以及他们上传的视频

--统计每个类别视频观看数 Top10

11.2 项目

11.2.1 数据结构

1．视频表

表 6-13 视频表

字段

备注

详细描述

video id

视频唯一 id

11 位字符串

uploader

视频上传者

上传视频的用户名 String

age

视频年龄

视频上传日期和 2007 年 2 月 15 日之间

的整数天（Youtube 的独特设定）

相关视频的 id，最多 20 个

2．用户表

表 6-14 用户表

字段

备注

字段类型

uploader

上传者用户名

string

videos

上传视频数

int

friends

朋友数量

int

11.2.2 ETL 原始数据

通过观察原始数据形式，可以发现，视频可以有多个所属分类，每个所属分类用&符号

分割，且分割的两边有空格字符，同时相关视频也是可以有多个元素，多个相关视频又用

“\t”进行分割。为了分析数据时方便对存在多个子元素的数据进行操作，我们首先进行数

据重组清洗操作。即：将所有的类别用“&”分割，同时去掉两边空格，多个相关视频 id

也使用“&”进行分割。

例子：

LKh7zAJ4nwo TheReceptionist 653 Entertainment 424 13021 4.34 1305 744

DjdA-5oKYFQ NxTDlnOuybo c-8VuICzXtU DH56yrIO5nI W1Uo5DQTtzc

E-3zXq_r4w0 1TCeoRPg5dE yAr26YhuYNY 2ZgXx72XmoE -7ClGo-YgZ0

vmdPOOd6cxI KRHfMQqSHpk pIMpORZthYw 1tUDzOp10pkheqocRij5P0

_XIuvoH6rUg LGVU5DsezE0 uO2kj6_D8B4xiDqywcDQRM uX81lMev6_o

1．ETL 之 ETLUtil

package video;

public class ETLUtil {

public static String oriString2ETLString(String ori){

StringBuilder etlString = new StringBuilder();

String[] splits = ori.split("\t");

//如果没有相关视频 length：9

if(splits.length < 9) return null;

splits[3] = splits[3].replace(" ", "");

for(int i = 0; i < splits.length; i++){

if(i < 9){

//当 i：8 的时候不加 tab

if(i == splits.length - 1){

etlString.append(splits[i]);

}else{

etlString.append(splits[i] + "\t");

}

}else{//当存在相关视频

//同上，最后一个不加&，其他的都加&

if(i == splits.length - 1){

etlString.append(splits[i]);

}else{

etlString.append(splits[i] + "&");

}

return etlString.toString();

}

2．ETL 之 Mapper

package video;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class VideoETLMapper extends Mapper<Object, Text, NullWritable, Text>{

Text text = new Text();

@Override

protected void map(Object key, Text value, Context context) throws IOException,

InterruptedException {

String etlString = ETLUtil.oriString2ETLString(value.toString());

if(StringUtils.isBlank(etlString)) return;

text.set(etlString);

context.write(NullWritable.get(), text);

}

3．ETL 之 Job

package video;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.Tool;

public class VideoJob extends Configured implements Tool {

public static void main(String[] args) {

try {

new VideoJob().run(args);

} catch (Exception e) {

e.printStackTrace();

剩余11页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

xiang_zi_gege

粉丝: 21
资源: 2

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

HIVE实战项目-Youtube视频网站常规指各项标

含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz

flink-connector-hive-2.11-1.12.7-API文档-中文版.zip

Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合

apache-hive-2.1.1-bin.tar

hive驱动包hive-jdbc-uber-2.6.5.0-292.jar（用户客户端连接使用）

hive-jdbc-3.1.2-standalone

hive-jdbc-uber-2.6.5.0-292.jar

hive-jdbc-uber-2.6.5.0-292.rar

hive旅游-hive旅游系统-hive旅游系统源码-hive旅游管理系统-基于springboot的hive旅游系统-java

hive-jdbc-1.2.1-standalone.jar

hive-jdbc-uber-2.6.5.0-292.jar驱动

hive-jdbc-2.3.7-standalone.jar

hive-jdbc-uber-2.6.5.jar

hive-jdbc-2.1.1-cdh6.2.0-standalone.jar

hive-jdbc-3.1.2-standalone.jar

hive-jdbc-1.2.1-standalone

hive-exec-*.jar包

hive-jdbc-3.1.2.jar

mysql-connector-java-5.1.40.tar.gz

Apache atlas使用说明文档.pdf（转载分享请注明出处）

超市销售数据分析.csv

大数据实验六实验报告：熟悉Hive的基本操作

淘宝用户购物行为数据分析项目数据集

1、ETL工程师经典面试题.md

hadoop-基于hive的聊天数据分析报表可视化案例数据源

离线数据处理 任务一：数据抽取

hive-2.3.3jdbc驱动程序

Hive数据仓库之垃圾分类数据分析系统

最新资源

离线数据处理任务一：数据抽取