Hadoop培训-part1
刘老师
培训目录
大数据面临的挑战
Hadoop与传统大数据解决方案对比
传统大数据解决方案
以Hadoop为首的大数据解决方案啊
大数据处理用到哪些技术
大数据的应用场景和体系结构
Hadoop版本介绍和选择
Hadoop的核心技术HDFS和MapReduce详解
Hadoop生态系统介绍
Hadoop常用组件：Flume、Sqoop、Hive、Hbase功能和架构介绍
新型大数据技术介绍：Strom、Spark
Hadoop监控和部署
Day1
Day2
对大数据的NoSQL技术详解
Hbase的实战
NoSQL的实用场景介绍
Hadoop平台搭建的全过程(网络、硬件、资源控制等)
基于Hadoop的案例分享(互联网)
大数据在传统行业的案例分享
Hadoop平台的陈本估算
Day3
大数据的核心数据特征
抛开业务模式，就数据本身来讲，相比“小数据”，大数
据具有如下核心特征：
• 大：数据量大。面对与处理比过去更大的数据量
• 广：类型与来源广泛。面对与处理多种类型，多种来
源的数据
• 联：全社会互联互通。不再只面对企业内部孤立的数
据资源，而是包括企业内外部的全社会的互联互通
3
• 巨大的数据量 Volume
• 集中储存/集中计算已经无法处理巨大的数据量
• 多结构化数据 Variety
• • 多结构化数据 Variety
• • 文本/图片/视频/文档等
• • 增长速度很快 Velocity
• • 海量数据的及时有效分析
• • 用户基数庞大/设备数量众多/实时海量/数
据指数级别增长
• • 价值密度低 Value
• 单条数据并无太多价值，但庞大的数据量蕴
含巨大财富
具有4V特性的数据称为大数据
大数据的理解——4V特征
几亿个用户的微博
和聊天数据
中型城市每月
数十亿智能电
表数据
2015年全球移动终端产
生的数据量6300PB
数据量、复杂数据种类剧增带来的技术挑战
更多多样化数据的
存储
海量数据计算和分
析
多样化数据存储在
不同的地方
更多的变化和不确
定性
结构化和非结构化的内外
部数据快速增长所带来存储问
题
怎么样在海量的数据里
面、有限的时间内分析和
挖掘出有用的信息
不同的数据存放在不同
的系统，这样对数据的整
合和交叉分析带来很大的
难度
预定义的模型、信息板
和报告无法满足意外业务
需求
