没有合适的资源?快使用搜索试试~ 我知道了~
大数据、云计算系统高级架构师课程学习路线图 (2).pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 136 浏览量
2022-06-21
19:15:18
上传
评论
收藏 1.85MB PDF 举报
温馨提示
试读
21页
。。。
资源推荐
资源详情
资源评论
大数据、云计算系统高级架
构师课程学习路线图
大数据之 Linux+大数据开发篇
Java Linux 基础 Shell 编程 Hadoop2.x HDFS YARN MapReduce ETL 数据清
洗 Hive Sqoop Flume/Oozieo 大数据 WEB 工具 Hue HBase Storm Storm
ScalaSpark Spark 核心源码剖析 CM 5.3.x 管理 CDH 5.3.x 集群
项目部分
项目一:北风网用户行为分析 项目二:驴妈妈离线电商平台分析平台 项目三:基
于 Spark 技术实现的大型离线电商数据分析平台
大数据之阿里云企业级认证篇
阿里云数据处理和分析 报表场景的实现(企业案例) 企业自助沙箱实验(10 个)
阿里云企业认证(ACP11003 模块)
大数据之 Java 企业级核心技术篇
Java性能调优 Tomcat、Apache 集群 数据库集群技术 分布式技术 WebLogic
企业级技术
大数据之 PB 级别网站性能优化篇
CDN 镜像技术 虚拟化云计算 共享存储 海量数据 队列缓存
Memcached+Redis\No-SqlLVS 负载均 Nginx
项目部分
PB 级通用电商网站性能优化解决方案
大数据之数据挖掘\分析&机器学习篇
Lucene 爬虫技术 Solr 集群 KI 分词 Apriori 算法 Tanagra工具 决策树 贝叶
斯分类器人工神经网络 K 均值算法 层次聚类 聚类算法 SPSS Modeler R 语言
数据分析模型统计算法 回归 聚类 数据降维 关联规则 决策树
Mahout->Python 金融分析
项目部分
项目一:地震预警分析系统 项目二:文本挖掘(Mathout\中文分词) 项目三:电商
购物车功能实现(R 语言)项目四:使用 Python 构建期权分析系统
大数据之运维、云计算平台篇
Zookeeper Docker OpenStack 云计算
项目部分
博客 WordPress、ELK、日志管理:Maven+Jenkins 项目部分.
了解更多详情
课程体系
一、大数据、云计算
北风大数据、云计
算系统架构师高级课程
大数- Hadoop 阶段
据开发技术
基础课程一、大数据运维之 Linux
基础,以
便更好地学习 Linux 本部分是基础课程,帮大家进入大数据领域打好等众多课程。
docker,openstackStorm,,hbase,NoSQL,Spark,Hadoop 因为企业 Linux
环境下搭建或部署的。中的项目基本上都是使用 6)用户和用户组管理 )Linux
系统概述 17)磁盘管理 2)系统安装及相关配置
8)Linux 文件和目录管理 3)Linux 网络基础 9))Linux 终端常用命令 4OpenSSH
实现网络安全 10)linux 系统监测与维护 连接
文本编辑器 vi)5
课程二、大数据开发核心技术 - Hadoop 2.x 从
入门到精通
本课程是整套大数据课程的基石:其一,分布式文件系统 HDFS 用于存储海量
数据存储在其上面;其二是分布式资源 Spark 或者 HBase、Hive 数据,无论是
管理框架云操作系统(也称数据系统),管理集群资源和分布式数 Hadoop
YARN,是 分布式并行计算框架据处理框架 MapReduce、Spark 应用的资源调
度与监控;的编 Hadoop 2.xMapReduce 目前是海量数据并行处理的一个最常
用的框架。MapReduce 集群资源管理与任务监控,环境搭建、HDFS Shell 使
用,YARN 译、 编 HA)必须要掌握的。程,分布式集群的部署管理(包括高
可用性 Hadoop 2.xHadoop 2.x一、初识 二、深入 文件系统的架构、功能、设
计)1)大数据应用发展、前景 HDFS12)HDFS Java API使用 2.x2)Hadoop 概
述及生态 3)YARN 系统 架构、集群管理、应用监控
4 环境搭建与 Hadoop 2.x)MapReduce 编程模型、Shuffle 过程、编 3)程调优 测
试
四、实战应用 Hadoop 2.x 三、高级
1)以【北风网用户浏览日志】数据进行实际 Hadoop 1)分布式部署 2.x
的分析 2)原数据采集)分布式协作服务框架 3)数据的预处理 2(ETL) 4)
数据的分析处理(MapReduceZookeeper
)
架构、配置、3)HDFS HA 测试 )4HDFS 2.x 中高级特性 )YARN HA 架构、配置
5 主要发行版本 Hadoop 6) )、、(CDHHDPApache
课程三、大数据开发核心
技术 - 大数据仓库 Hive 精讲
hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一
张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce
任务进行
运行。其优点是学习成本低,可以通类 SQL 语句快速实现简单的 MapReduce 应
用,十分适合数据仓库的统计分析。MapReduce 统计,不必开发专门的.
Hive 初识入门 深入使用二、Hive 一、 )11)Hive 功能、体系结构、Hive 中
的内部表、外部表、分区表 2)Hive 使用场景 数据迁移、select、whereHive2)
环境搭建、初级使、distinct3)Hive 常见查询( join、group by)用
Hive 内置函数和 UDF 编程 3)Hive 原数据配置、常见 4) 交互方式四、结合
【北风网用户浏览日志】实际案例高级进阶 Hive 三、 )1Hive 数据的存储和压
缩 分析 1)依据业务设计表 2)Hive 常见优化(数据倾 2)数据清洗、导入(ETL
斜、压缩等) ) 3)使用 HiveQL,统计常见的网站指标
精讲课程四、大
数据协作框架 - Sqoop/Flume/Oozieo
、(mysql 主要用于在
Hadoop(Hive)与传统的数据库 Sqoop 是一款开源的工具,MySQL 间进行
数据的传递,可以将一个关系型数据库(例如: postgresql...)项目开始
于,Oracle ,Postgres 等)中的数据导进到关系型数据库中。Sqoop 后来为了让
使用者能够的一个第三方模块存在,年,最早是作为 Hadoop2009 快速部
Apache 独立成为一个署,也为了让开发人员能够更快速的迭代开发,Sqoop
项目。
一、数据转换工具 Sqoop 二、文件收集框架 Flume
1) Flume 设计架构、原理(三大组件) 1)Sqoop 功能、使用原则 2)Flume
数据导入 RDBMSHive 初步使用,实时采集数据 2)将 3)表中(全量、增量)如
何使用 Flume 监控文件夹数据,实时采集录入 HDFSHDFS3)将上文件导出到中 4)
任务调度框架 Oozie
表中 RDBMS 三、Oozie 功能、安装部署调度 1)使用 OozieHiveQL 和 MapReduce
Job
2)定时调度任务使用
精讲 Hue 工具 WEB 大数据- 开发框架
Web 课程五、大数据
演最早是由 Cloudera DesktopHue 是一个开源的 Apache Hadoop UI 系统,
DjangoPython Web 框架化而来,由 Cloudera 贡献给开源社区,它是基于 实
现的。通集群进行交互来 Hadoop 过使用 Hue 我们可以在浏览器端的 Web 控
制台上与 等等。分析处理数据,例如操作 HDFS 上的数据,运行 MapReduce
JobDataBase Hue 集成 Hive、)1)Hue 架构、功能、编译 4Oozie
5)Hue 集成 HDFS
Hue 集成 2)MapReduce
集成 3)Hue
从入门到精通 - 分布式数据库 HBase 课程六、大数
据核心开发技术
所 Fay Chang HBase 是一个分布式的、面向列的开源数据
库,该技术来源于
HBase:一个结构化数据的分布式存储系统”。Google 论文“Bigtable 撰写的 在
的能力,是一个高可靠性、高性能、面向 Hadoop 之上提供了类似于 Bigtable
上搭建起 PC ServerHBase 技术可在廉价列、可伸缩的分布式存储系统,利用 大
规模结构化存储集群一、HBase 初窥使用 二、HBase 深入使用
1 是什么、发展、)HBase 数据存储模型 1)HBase2)HBase Java API 使用(CRUD、
SCAN 等) 与 RDBMS 相比优势、企业使 3)HBase 用 架构深入剖析
4HBase Schema)、表的设)HBase 与 MapReduce 集成、数据导入导出 2 计 shell
环境搭建、HBase 3) 初步使用(CRUD 等)四、【北风网用户浏览日志】进行分
析 HBase 三、高级使用
剩余20页未读,继续阅读
资源评论
xxpr_ybgg
- 粉丝: 6438
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功