没有合适的资源?快使用搜索试试~ 我知道了~
大数据课程分类.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 123 浏览量
2022-06-10
05:41:16
上传
评论
收藏 1.85MB PDF 举报
温馨提示
试读
31页
大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf大数据课程分类.pdf
资源推荐
资源详情
资源评论
大 数 据 课 程 :
基 础 阶 段 : L i n u x 、 D o c k e r 、 K V M 、 M y S Q L 基 础 、 O r a c l e 基 础 、
M o n g o D B 、 r e d i s 。
h a d o o p m a p r e d u c e h d f s y a r n : h a d o o p : H a d o o p 概 念 、 版 本 、 历
史 , H D F S 工 作 原 理 , Y A R N 介 绍 及 组 件 介 绍 。
大 数 据 存 储 阶 段 : h b a s e 、 h i v e 、 s q o o p 。
大 数 据 架 构 设 计 阶 段 : F l u m e 分 布 式 、 Z o o k e e p e r 、 K a f k a 。
大 数 据 实 时 计 算 阶 段 : M a h o u t 、 S p a r k 、 s t o r m 。
大 数 据 数 据 采 集 阶 段 : P y t h o n 、 S c a l a 。
大 数 据 商 业 实 战 阶 段 : 实 操 企 业 大 数 据 处 理 业 务 场 景 , 分 析 需 求 、
决 方 案 实 施 , 综 合 技 术 实 战 应 用 。
大 数 据 之 L i n u x + 大 数 据 开 发 篇
大 数 据 之 数 据 挖 掘 \ 分 析 & 机 器 学 习 篇
大 数 据 之 运 维 、 云 计 算 平 台 篇
解
大 数 据 之 P B 级 别 性 能 优 化 篇
大 数 据 之 J a v a 企 业 级 核 心 技 术 篇
课 程 一 、 大 数 据 运 维 之 L i n u x 基 础
本 部 分 是 基 础 课 程 , 帮 大 家 进 入 大 数 据 领 域 打 好 L i n u x 基 础 , 以 便 更
好 地 学 习 H a d o o p ,h b a s e , N o S Q L ,S p a r k ,S t o r m ,d o c k e r , o p e n s t a c k
等 众 多 课 程 。因 为 企 业 中 的 项 目 基 本 上 都 是 使 用 L i n u x 环 境 下 搭 建 或
部 署 的 。
6 ) 用 户 和 用 户 组 管 理
7 ) 磁 盘 管 理
8 ) L i n u x 文 件 和 目 录 管 理
9 ) L i n u x 终 端 常 用 命 令
1 0 ) l i n u x 系 统 监 测 与 维 护
1 ) L i n u x 系 统 概 述
2 ) 系 统 安 装 及 相 关 配 置
3 ) L i n u x 网 络 基 础
4 )O p e n S S H 实 现 网 络 安 全
连 接
5 ) v i 文 本 编 辑 器
课 程 二 、 大 数 据 开 发 核 心 技 术 - H a d o o p 2. x 从 入 门 到 精 通
本 课 程 是 整 套 大 数 据 课 程 的 基 石 : 其 一 , 分 布 式 文 件 系 统 H D F S 用 于
存 储 海 量 数 据 , 无 论 是 H i v e 、 H B a s e 或 者 S p a r k 数 据 存 储 在 其 上 面 ;
其 二 是 分 布 式 资 源 管 理 框 架 Y A R N , 是 H a d o o p 云 操 作 系 统 ( 也 称 数
据 系 统 ) , 管 理 集 群 资 源 和 分 布 式 数 据 处 理 框 架 M a p R e d u c e 、 S p a r k
应 用 的 资 源 调 度 与 监 控 ; 分 布 式 并 行 计 算 框 架 M a p R e d u c e 目 前 是 海
量 数 据 并 行 处 理 的 一 个 最 常 用 的 框 架 。 H a d o o p 2 . x 的 编 译 、 环 境 搭
建 、H D F S S h e l l 使 用 ,Y A R N 集 群 资 源 管 理 与 任 务 监 控 ,M a p R e d u c e
编 程 , 分 布 式 集 群 的 部 署 管 理 ( 包 括 高 可 用 性 H A ) 必 须 要 掌 握 的 。
1 ) 大 数 据 应 用 发 展 、 前 景
2 )H a d o o p 2. x 概 述 及 生 态
系 统
3 )H a d o o p 2. x 环 境 搭 建 与
测 试
1 ) H D F S 文 件 系 统 的 架 构 、
功 能 、 设 计
2 ) H D F S J a v a A P I 使 用
3 ) Y A R N 架 构 、 集 群 管 理 、
应 用 监 控
4 ) M a p R e d u c e 编 程 模 型 、
S h u f f l e 过 程 、 编 程 调 优
1 )分 布 式 部 署 H a d o o p 2. x 1 ) 以 【 北 风 网 用 户 浏 览 日
2 ) 分 布 式 协 作 服 务 框 架
Z o o k e e p e r
3 ) H D F S H A 架 构 、 配 置 、
测 试
4 ) H D F S 2. x 中 高 级 特 性
5 ) Y A R N H A 架 构 、 配 置
6 ) H a d o o p 主 要 发 行 版 本
( C D H 、 H D P 、 A p a c h e )
志 】 数 据 进 行 实 际 的 分 析
2 ) 原 数 据 采 集 3 ) 数 据 的
预 处 理 ( E T L ) 4 ) 数 据 的
分 析 处 理 ( M a p R e d u c e )
课 程 三 、 大 数 据 开 发 核 心 技 术 - 大 数 据 仓 库 H i v e 精 讲
h i v e 是 基 于 H a d o o p 的 一 个 数 据 仓 库 工 具 ,可 以 将 结 构 化 的 数 据 文 件
映 射 为 一 X 数 据 库 表 , 并 提 供 简 单 的 s q l 查 询 功 能 , 可 以 将 s q l 语 句
转 换 为 M a p R e d u c e 任 务 进 行 运 行 。 其 优 点 是 学 习 成 本 低 , 可 以 通 类
S Q L 语 句 快 速 实 现 简 单 的 M a p R e d u c e 统 计 , 不 必 开 发 专 门 的
M a p R e d u c e 应 用 , 十 分 适 合 数 据 仓 库 的 统 计 分 析 。
1 ) H i v e 功 能 、 体 系 结 构 、
使 用 场 景
2 ) H i v e 环 境 搭 建 、 初 级 使
用
3 ) H i v e 原 数 据 配 置 、 常 见
1 ) H i v e 中 的 内 部 表 、 外 部
表 、 分 区 表
2 ) H i v e 数 据 迁 移
3 )H i v e 常 见 查 询( s e l e c t 、
w h e r e 、 d i s t i n c t 、 j o i n 、
交 互 方 式 g r o u p b y )
4 ) H i v e 内 置 函 数 和 U D F
编 程
1 ) H i v e 数 据 的 存 储 和 压 缩
2 ) H i v e 常 见 优 化 ( 数 据 倾
斜 、 压 缩 等 )
1 ) 依 据 业 务 设 计 表
2 )数 据 清 洗 、导 入( E T L )
3 )使 用 H i v e Q L ,统 计 常 见
的 指 标
课 程 四 、 大 数 据 协 作 框 架 - S q o o p / F l u m e / O o z i e 精 讲
S q o o p 是 一 款 开 源 的 工 具 , 主 要 用 于 在 H a d o o p ( H i v e ) 与 传 统 的 数 据
库 ( m y s q l 、 p o s t g r e s q l . . . ) 间 进 行 数 据 的 传 递 , 可 以 将 一 个 关 系 型 数
据 库 ( 例 如 : M y S Q L , O r a c l e , P o s t g r e s 等 ) 中 的 数 据 导 进 到 关 系
型 数 据 库 中 。 S q o o p 项 目 开 始 于 2 0 0 9 年 , 最 早 是 作 为 H a d o o p 的 一
个 第 三 方 模 块 存 在 , 后 来 为 了 让 使 用 者 能 够 快 速 部 署 , 也 为 了 让 开 发
人 员 能 够 更 快 速 的 迭 代 开 发 , S q o o p 独 立 成 为 一 个 A p a c h e 项 目 。
1 ) S q o o p 功 能 、 使 用 原 则
2 ) 将 R D B M S 数 据 导 入
H i v e 表 中 ( 全 量 、 增 量 )
3 ) 将 H D F S 上 文 件 导 出 到
1 ) F l u m e 设 计 架 构 、 原 理
( 三 大 组 件 )
2 ) F l u m e 初 步 使 用 , 实 时
采 集 数 据
剩余30页未读,继续阅读
资源评论
G11176593
- 粉丝: 6669
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功