Hadoop学习笔记整理
需积分: 41 51 浏览量
2022-07-29
14:15:55
上传
评论
收藏 247KB DOCX 举报
Hadoop
一、大数据
数据分析的基本流程
明确分析目的和思路==》数据收集==》数据处理==》数据分析==》数据展现==》报表撰写
大数据的 5V 特征
Volume 数据体量大
采集数据量大
存储数据量大
计算数据量大
TB、PB 级别起步
Variety 种类、来源多样化
种类：结构化、半结构化、非结构化
来源：日志文本、图片、音频、视频
Value 低价值密度
信息海量但是价值密度低
深度复杂的挖掘分析需要机器学习参与
Velocity 速度快
数据增长速度快
获取数据速度快
数据处理速度快
Veracity 数据的质量
数据的准确性
数据的可信赖度
分布式和集群的概念
分布式：多台机器，每台机器上部署不同组件
集群：多台机器，每台机器上部署相同组件
大数据存储和计算
剩余10页未读，继续阅读
评论0