本文来自于InfoQ,这个项目主要解决check和opinion2张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询。本项目主要解决check和opinion2张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询。原实现基于Oracle提供存储查询服务,随着数据量的不断增加,在写入和读取过程中面临性能问题,且历史数据仅供业务查询参考,并不影响实际流程,从系统结构上来说,放在业务链条上游比较重。本项目将其置于下游数据处理Hadoop分布式平台来实现此需求。下面列一些具体的需求指标:1. 数据量:目前check表的累计数据量为5000w+行,1