2_尚硅谷大数据之从Hadoop框架讨论大数据生态1
需积分: 0 64 浏览量
2022-08-03
22:31:06
上传
评论
收藏 462KB PDF 举报
二
从
Hadoop
框架讨论大数据生态
2.1 Hadoop
是什么
1）Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。
2）主要解决，海量数据的存储和海量数据的分析计算问题。
3）广义上来说，HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈。
2.2 Hadoop
发展历史
1）Lucene 是 Doug Cutting 开创的开源软件，用 java 书写代码，实现与 Google 类似的全文
搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎
2）2001 年年底成为 Apache 基金会的一个子项目
3）对于大数量的场景，Lucene 面对与 Google 同样的困难
4）学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch
5）可以说 Google 是 hadoop 的思想之源(Google 在大数据方面的三篇论文)
GFS --->HDFS
Map-Reduce --->MR
BigTable --->Hbase
6）2003-2004 年，Google 公开了部分 GFS 和 Mapreduce 思想的细节，以此为基础 Doug Cutting
等人用了 2 年业余时间实现了 DFS 和 Mapreduce 机制，使 Nutch 性能飙升
7）2005 年 Hadoop 作为 Lucene的子项目 Nutch 的一部分正式引入 Apache 基金会。2006 年
3 月份，Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项
田仲政
- 粉丝: 15
- 资源: 332
最新资源
- 基于matlab实现夜间车牌识别程序(1).rar
- 基于matlab实现图像处理，本程序使用背景差分法对来往车辆进行检测和跟踪.rar
- 基于matlab实现视频监控中车型识别代码，自己写的，希望和大家多多交流.rar
- sdk.config
- 基于matlab实现配电网三相潮流计算方法，对几种常用的配电网潮流计算方法进行了对比分析.rar
- 基于matlab实现配电网潮流 经典33节点 前推回代法潮流计算 回代电流 前推电压 带注释.rar
- 基于matlab实现模拟退火遗传算法的车辆调度问题研究,用MATLAB语言加以实现.rar
- 基于matlab实现蒙特卡洛的的移动传感器节点定位算法仿真代码.rar
- 华中数控系统818用户说明书
- 基于matlab实现卡尔曼滤波器完成多传感器数据融合 对多个机器人的不同传感器数据进行融合估计足球精确位置.rar
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0