大量视频、图片、文件分布式存储技术方案
1、分布式系统概述
分布式文件系统主要是用于存储文档、图像、视频类的非结构化
数据,其建立在网络会话层和网络传输层之上,以建立资源池的方式
实现全局化管理平台所涉及的非结构化数据资源(文件资源),并实现
资源调度过程的透明化。
系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利
用位置服务器(NameNode)定位存储信息以提高文件读取效率,系统
整体性能和系统扩展性
2、技术路线
使 用 HDFS 作为分布式文件系统中间件,HDFS 有着高容错性
(fault-tolerant)的特点,可以提供高吞吐量(high throughput)
来访问应用程序的数据,适合那些有着超大数据集(large data set)
的应用程序,HDFS 放宽了(relax)POSIX 的要求(requirements)
这样可以实现流的形式访问(streaming access)文件系统中的数据。
在 HDFS 分布式文件系统的基础上建立ZooKeeper 分布式服务注册中
心对两个互为主备的NameNode 进行不间断心跳状态检测,如果某一
台 NameNode 节点出现故障则自动切换另外一台主机对外提供元数据检
索,存储服务,即实现分布式存储的高可用特性。部署