大数据与银行业新一代数据体系建设
“大数据”来了,如火如荼,大有排山倒海之势!仔细分析各种成功案例后,发现大都
是在互联网行业,而它在银行业的应用,却鲜有报道。本文则重点介绍大数据在银行新一代
数据体系建设中的需求、战略与具体应用。
一、 大数据在银行业的需求分析
高负荷环境下高可用的海量数据管理是目前 IT 建设中最重要的内容,也是影响客户业
务发展最重要的瓶颈。近年来的事实表明,各行各业,其数据量以及用户对服务水平等几个
方面的要求是在同时快速增长的,以基于 SQL 的关系数据库技术为主要代表的传统数据管
理技术已经明显难以应付新的需求,这其中当然也包括银行业。
仔细分析,银行 IT 体系中数据量的增长压力主要来源于以下几个方面的原因:
1. 银行业务的快速增长导致原有企业业务数据的快速增长。也就是说,企业数据库中
需要管理的数据量及其增长速度已经难以承受;
2. 客户服务水平的提高及各种监管制度的要求,导致银行 IT 部门不得不规划管理比
以前量大得多的数据。例如对长期历史数据的使用要求,使得银行不得不考虑原来
存放在磁带上的数据的高可用问题;
3. 新的 IT 规划带来了新的数据类型。将社会化交互渠道引入银行业,已经成为各大
银行规划其新一代 IT 体系的重要目标。由此,银行 IT 部门就不得不关心其以前并
不关注的新的数据类型。
从目前的状态来,对以上需求 1 与 2,银行主要是通过原有系统垂直扩容的手段来应对。
但近年来,垂直扩容已经不仅仅是难以承受的成本压力了,清醒的IT 工作者已经意识到这
不是根本的长远之计;而对需求3,则是互联网行业的强项,银行业没有过多的技术经验与
积累。
要很好的解决以上问题,必须引入新的技术理念、方法与工具,而无论从技术特征本身,
还是从应用实践来看,当今最流行的大数据技术(这里主要指 Hadoop MapReduce 与 NoSQL),
都会在应对这些挑战的过程中起到重要的作用。
二、 银行业大数据应用的困惑
目前为止,虽然国内的商业银行对大数据的实际应用还比较少,但这项新的技术已经得
到了绝大多数银行的关注,有相当一部分银行正在进行对大数据技术的调研、论证与测试工
作。正如上面分析的那样,银行业对在其 IT 体系中引入大数据的必要性是认同的。
但同时,银行 IT 部门又普遍对大数据在本企业的应用存在一定程度的困惑,这主要表
现在以下几个方面:
1. 大数据在银行数据体系规划中的地位究竟如何?这对其技术战略规划有何影响?
2. 大数据技术与传统的关系数据库技术关系与未来发展方向到底如何?是会最终替
代掉关系数据库吗?
3. 银行业应该如何构建大数据平台?
4. 大数据技术目前具体可以在银行 IT 体系的哪些方面得到有效的运用?
本文旨在对以上问题进行探讨。
三、 大数据与银行新一代数据体系
相当一部分商业银行目前正在进行新一代 IT 体系的规划与建设工作,其中,打造适应