Hadoop大数据平台架构与实践大数据平台架构与实践|HDFS
HDFS作为Hadoop的核心部分，是Hadoop中MapReduce框架的存储层。
1、为什么需要分布式文件系统
当文件的大小超过了单台计算机的存储能力时，就需要将其分区存储在不同单独的计算机上。
分布式文件系统概念图文件系统的三个主要组成部分：被管理的文件、文件管理相关软件、实施文件管理所需要的数据结构
将文件分布式存储后带来的问题：文件不完整，系统复杂度加大，引入网络编程
2、HDFS对文件的读取方式：流处理访问模式
HDFS以流处理访问模式来存储文件什么是流处理访问模式呢？为什么分布式文件系统场景下这种文件访问模式更合适？
操作系统中文件访问方式有好几种，常见的是随机数据访问方式，这种方式要求文件定位、查询或者修改数据的延迟比较小，
比较适合常见数据后多次查询、读写的场景，传统关系型数据库非常符合这一点。
大数据场景与关系系数据库的场景有非常大的不同。大数据的数据源通常由源生成或从数据源直接复制而来，接着长时间在此
数据集上进行各类分析，不需要搬来搬去；这种数据访问场景是典型的一次写入，多次读取的场景（写入数据只需要生成数据
的那一次，基本没有修改数据的要求，后面就是多次读取以分析），所以这种场景下的数据访问方式更适合采用流处理方式。
流处理数据访问方式试磁盘寻址开销最小化：只需要一次寻址（起始地址），然后就是连续的流式读取。硬盘的物理构造导致
寻址开销的优化跟不上读取开销，所以流式读取更加适合硬盘的本身特性，当然大文件的特点也更适合流式读取。
剩余6页未读，继续阅读
资源评论
weixin_38634037
- 粉丝: 7
- 资源: 958
最新资源
- 动手学深度学习，沐神版配套代码，所有代码均可在jupyter中运行，内附有极为详尽的代码注释
- qaxbrowser-1.1.32574.52.exe (奇安信浏览器windows安装包)
- C#编写modbus tcp客户端读取modbus tcp服务器数据
- 某房地产瑞六补环境部分代码
- 基于Matlab实现无刷直流电机仿真（模型+说明文档）.rar
- AllSort(直接插入排序，希尔排序，选择排序，堆排序，冒泡排序，快速排序，归并排序)
- 模拟qsort,改造冒泡排序使其能排序任意数据类型，即日常练习
- carsim+simulink联合仿真实现变道 包含路径规划算法+mpc轨迹跟踪算法 可选simulink版本和c++版本算法 可以适用于弯道道路，弯道车道保持，弯道变道 carsim内规划轨迹可视化
- 数组经典习题之顺序排序和二分查找和冒泡排序
- 永磁同步电机神经网络自抗扰控制，附带编程涉及到的公式文档，方便理解，模型顺利运行，效果好，位置电流双闭环采用二阶自抗扰控制，永磁同步电机三闭环控制，神经网络控制，自抗扰中状态扩张观测器与神经网络结合
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
