没有合适的资源?快使用搜索试试~ 我知道了~
第3章-大数据存储技术----大数据基础.pptx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 2 下载量 85 浏览量
2022-06-22
02:33:17
上传
评论 1
收藏 1.71MB PPTX 举报
温馨提示
试读
64页
第3章 大数据存储技术 大数据项目组 2018年7月 华中科技大学软件学院 第3章-大数据存储技术----大数据基础全文共111页,当前为第1页。 目录 2 理解HDFS分布式文件系统 NoSQL数据库 Hadoop的安装和配置 HDFS文件管理 Hbase的安装和配置 Hbase的使用 第3章-大数据存储技术----大数据基础全文共111页,当前为第2页。 HDFS简介 3 HDFS文件系统的特点: 1.存储数据较大:运行在HDFS的应用程序有较大的数据处理要求,或存储从GB到TB级的超大文件。 2.支持流式数据访问:HDFS放宽了可移植操作系统接口(POSIX)的要求,可以以流的形式访问文件系统中的数据。 3.支持多硬件平台:Hadoop可以运行在廉价、异构的商用硬件集群上,并且在HDFS设计时充分考虑了数据的可靠性、安全性及高可用性,以应对高发的节点故障问题。 分布式文件系统HDFS(Hadoop Distributed File System)是Hadoop核心子项目,为Hadoop提供了一个综合性的文件系统抽象,并实现了多类文件系统的接口。HDFS基于流式数据访问、存储和处理
资源推荐
资源详情
资源评论
第
3
章 大数据存储技术
大数据项目组
2018 年 7 月
华中科技大学软件学院
目录
2
理解
HDFS
分布式文件系统
NoSQL
数据库
Hadoop
的安装和配置
HDFS
文件管理
Hbase
的安装和配置
Hbase
的使用
HDFS 简介
3
HDFS 文件系统的特点:
1. 存储数据较大:运行在 HDFS 的应用程序有较大的数据处理要求,
或存储从 GB 到 TB 级的超大文件。
2. 支 持 流 式 数 据 访 问 : HDFS 放 宽 了 可 移 植 操 作 系 统 接 口
( POSIX )的要求,可以以流的形式访问文件系统中的数据。
3. 支持多硬件平台: Hadoop 可以运行在廉价、异构的商用硬件集群
上,并且在 HDFS 设计时充分考虑了数据的可靠性、安全性及高可
用性,以应对高发的节点故障问题。
分布式文件系统 HDFS ( Hadoop Distributed File System )是
Hadoop 核心子项目,为 Hadoop 提供了一个综合性的文件系统抽象,
并实现了多类文件系统的接口。 HDFS 基于流式数据访问、存储和
处理超大文件,并运行于商用硬件服务器上。
HDFS 简介
4
4. 数据一致性高:应用程序采用“一次写入,多次读取”的数据访问策
略,支持追加,不支持多次修改,降低了造成数据不一致性的可能
性。
5. 有效预防硬件失效:通常,硬件异常比软件异常更加常见,对于具
有上百台服务器的数据中心而言,硬件异常是常态, HDFS 的设计
要有效预防硬件异常,并具有自动恢复数据的能力。
6. 支持移动计算:计算与存储采取就近的原则,从而降低网络负载,
减少网络拥塞。
HDFS 的局限性
5
HDFS 在处理一些特定问题上也存在着一定的局限性,并不适用所
有情况,主要表现在以下三个方面:
1. 不适合低延迟的数据访问:因为 HDFS 是为了处理大型数据集任
务,主要针对高数据吞吐设计的,会产生高时间延迟代价。
2. 无法高效地存储大量小文件:为了快速响应文件请求,元数据存
储在主节点的内存中,文件系统所能存储的文件总数受限于
NameNode 的内存容量。小文件数量过大,容易造成内存不足,导
致系统错误。
3. 不支持多用户写入以及任意修改文件:在 HDFS 中,一个文件同
时只能被一个用户写入,而且写操作总是将数据添加在文件末尾,
并不支持多个用户对同一文件的写操作,也不支持在文件的任意位
置进行修改。
剩余63页未读,继续阅读
资源评论
- gaoxueli552022-07-11资源很实用,对我启发很大,有很好的参考价值,内容详细。
- dotdotyy2022-12-17感谢大佬,让我及时解决了当下的问题,解燃眉之急,必须支持!
是空空呀
- 粉丝: 168
- 资源: 3万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功