Hadoop大数据平台架构与实践大数据平台架构与实践|HDFS
HDFS作为Hadoop的核心部分，是Hadoop中MapReduce框架的存储层。
1、为什么需要分布式文件系统
当文件的大小超过了单台计算机的存储能力时，就需要将其分区存储在不同单独的计算机上。
分布式文件系统概念图文件系统的三个主要组成部分：被管理的文件、文件管理相关软件、实施文件管理所需要的数据结构
将文件分布式存储后带来的问题：文件不完整，系统复杂度加大，引入网络编程
2、HDFS对文件的读取方式：流处理访问模式
HDFS以流处理访问模式来存储文件什么是流处理访问模式呢？为什么分布式文件系统场景下这种文件访问模式更合适？
操作系统中文件访问方式有好几种，常见的是随机数据访问方式，这种方式要求文件定位、查询或者修改数据的延迟比较小，
比较适合常见数据后多次查询、读写的场景，传统关系型数据库非常符合这一点。
大数据场景与关系系数据库的场景有非常大的不同。大数据的数据源通常由源生成或从数据源直接复制而来，接着长时间在此
数据集上进行各类分析，不需要搬来搬去；这种数据访问场景是典型的一次写入，多次读取的场景（写入数据只需要生成数据
的那一次，基本没有修改数据的要求，后面就是多次读取以分析），所以这种场景下的数据访问方式更适合采用流处理方式。
流处理数据访问方式试磁盘寻址开销最小化：只需要一次寻址（起始地址），然后就是连续的流式读取。硬盘的物理构造导致
寻址开销的优化跟不上读取开销，所以流式读取更加适合硬盘的本身特性，当然大文件的特点也更适合流式读取。
剩余6页未读，继续阅读
资源评论
weixin_38634037
- 粉丝: 7
- 资源: 958
最新资源
- LCD1602电子时钟程序
- 西北太平洋热带气旋【灾害风险统计】及【登陆我国次数评估】数据集-1980-2023
- 全球干旱数据集【自校准帕尔默干旱程度指数scPDSI】-190101-202312-0.5x0.5
- 基于Python实现的VAE（变分自编码器）训练算法源代码+使用说明
- 全球干旱数据集【标准化降水蒸发指数SPEI-12】-190101-202312-0.5x0.5
- C语言小游戏-五子棋-详细代码可运行
- 全球干旱数据集【标准化降水蒸发指数SPEI-03】-190101-202312-0.5x0.5
- spring boot aop记录修改前后的值demo
- 全球干旱数据集【标准化降水蒸发指数SPEI-01】-190101-202312-0.5x0.5
- ActiveReports
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
