WORD格式 编辑整理
海量数据进行整合、精简存储架构，目前非结构化海量数据存储较好的方案主
要有传统分布式 NAS 方案和对象存储方案。传统 NAS 存储方案由于和现有 SAN
存储方案类似，都是基于文件系统的方案，均为树形目录组织结构，随着数据
量的增大，同样存在文件寻址越来越慢的瓶颈。另外如果将现有 SAN 方案改为
NAS 存储方案，IOPS 和 IO 响应时间还有所降低，尤其是在线储存目前所用的为
闪存阵列，近线存储为 DS8870，地市后督影像存储为华为 5300V3，NAS 方案显
然不适合对现有架构进行改造，且存在越改越差的情况，并且对 NAS 存储的容灾备
份方案，依旧是两套 NAS 镜像的方式，副本数较少，备份效率低，数据一致性校
验困难。因此我行在非结构化存储架构转型偏向于对象存储方案。
（1） 采用对象存储方案思路
我行期望通过使用分布式对象存储架构替换传统的 SAN 存储架构，能够解决海
量非结构化数据的集中存储及访问问题，提升非结构化文件存取效率，解决地市影像和
总行影像存储单点问题，并尽可能的精简现有非机构化数据的存储架构。而分布式对象
存储能够保证不丢失数据、不中断服务、提供良好的用户体验，解决存储扩容复杂问题。
由于分布式对象存储采用扁平化的数据组织方式，所以目录架构扩展性强，耦合性低，
增删节点时所需迁移的数据少。整体而言，在业务系统、IT 性能以及运维方面都带了
本质的提升。因此利用对象存储的方案，可以解决我行三个方面的问题：
1、精简非结构化数据存储架构。对总行而言，之前我行的存储架构为闪存
-DS8870-华为 5300V3，三层存储架构，且存储和现有生产交易类存储闪存和
DS8870 共用，一来非结构化数据不适合放于 IO 响应时间优异的存储当中，性能浪
费严重，占用过多的存储空间，其他对 IO 响应时间要求较高的交易类系统，可能
反而得不到高性能的存储。二来该存储架构过于冗余，数据存储具有大量迁移过程，
如 7 天以上的数据由闪存迁移至 DS8870,30 天以上的数据由 DS8870 迁移至
5300V3，历史数据调阅的过程又反向，虽然均通过 ECM 系统和 TSM 软件实现该过
程，但效率较低，相当于，存储性能比较优异，但整体数据存取效率不高，尤其是历史
数据的存储方面。对地市分行而言，11 个地市分别部署了一套华为存储，独立使用，
数据来源于事后监督系统通过抽取总行 ECM 的历史数据而来， 数据和总行数据
重合，却并不是总行数据的副本。而采用对象存储方案，可以通过总行和地市部署存
储节点和访问节点的方式，将所有存储打通成一个大存储资源池，所有影像数据均放
在该存储池，形成二层精简架构，所有数据的存取，包括柜面、信贷、后督系统对
影像数据的存储，均通过本地的访问节点访问，大大提升了访问效率。
2、提升非结构化数据的副本数和冗余度。相较于现有存储架构中的单副本
数据，由于对象存储池中的数据可划分为多个副本，且每份影像数据也通过切片的
方式分布于所有存储节点当中，因此数据的冗余度也大大提升，即使某一个或者多
个存储节点发生故障，或者访问节点发生故障，均可以通过其他存储节点和访问节点
获取数据。
3、提升非结构化数据的存取性能。虽然目前的方案中闪存的引入，对于 7
天的影像数据的存取效率大大提升，但历史影像数据的调阅性能较差，导致该问
题的一个主要原因在于历史影像数据调阅需要通过 ECM 客户端访问 ECM 系统中的
存储数据，而该访问的过程首先要读取 ECM 数据库，获取存储数据的位置和地址，
才能获取存储当中的数据，这样的弊端在于随着 ECM 数据库中数据量的增大，数据
库访问效率大大降低，30 天历史影像数据的调阅也就越来越慢，无法满足
专业知识分享
