详解大数据时代下的三种存储架构.docx
版权申诉
163 浏览量
2022-11-29
14:01:26
上传
评论
收藏 13KB DOCX 举报
详解大数据时代下的三种存储架构
大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心
提出革命性的需求，存储基础架构已经成为IT 核心之一。政府、军队军工、科研院所、航空
航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价
值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数
据基础架构中最为关键的核心。
传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴
应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、
绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特
征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能
都发生了前所未有的变化。
基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的
数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等
特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速
等多方面的特点，才能满足具备大数据特征的业务应用需求。
尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P 随处可见，智能
和高清的双向需求、动辄 500W、800W 甚至上千万更高分辨率的摄像机面市，大数据对存储设
备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、
数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。
目前市场上的存储架构如下：
（1）基于嵌入式架构的存储系统
节点 NVR 架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设
中没有大型的存储监控中心机房，存储容量相对较小，用户体验度、系统功能集成度要求较
高。在市场应用层面，超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
（2）基于 X86 架构的存储系统
平台 SAN 架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用
IPSAN 或 FCSAN 搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过
录像存储管理模块存储到 SAN 中。
此种架构接入高清前端路数相对节点 NVR 有了较高提升，具备快捷便利的可扩展性，技
术成熟。对于 IPSAN 而言，虽然在 ISCSI 环节数据并发读写传输速率有所消耗，但其凭借扩
展性良好、硬件平台通用、海量数据可充分共享等优点，仍然得到很多客户的青睐。 FCSAN
在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发
读写对千兆网络交换提出了较大的挑战，但应用FCSAN 构建相对独立的存储子系统，可以有
效解决上述问题。
面对视频监控系统大文件、随机读写的特点，平台SAN 架构系统不同存储单元之间的数
据共享冗余方面还有待提高；从高性能服务器转发视频数据到存储空间的策略，从系统架构
而言也增加了隐患故障点、ISCSI 带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端
数据较少。上述问题催生了平台 NVR 架构解决方案。
该方案在系统架构上省去了存储服务器，消除了上文提到的性能瓶颈和单点故障隐患。
大幅度提高存储系统的写入和检索速度；同时也彻底消除了传统文件系统由于供电和网络的
不稳定带来的文件系统损坏等问题。
平台 NVR 中存储的数据可同时供多个客户端随时查询，点播，当用户需要查看多个已保
存的视频监控数据时，可通过授权的视频监控客户端直接查询并点播相应位置的视频监控数
资源评论
