集团大数据平台业务需求分析
1 总体需求
大数据平台应支持集团总部、省和地市三级使用方式。使用单位还包括下属单位和
控股公司等。大数据平台要求使用 Hadoop 系统应实现主流数据仓库的功能,同时支
持与现有系统 Oracle 数据库及 Teradata数据仓库的无缝连接。
大数据平台需支持多应用管理,即支持对应用的服务级别管理(SLA)。能够实现应
用的访问资源控制,支持资源隔离。同时支持多租户功能,例如多租户管理、租户的操
作员管理、租户的分等分级分组管理、租户的度量管理、租户的角色管理、租户应用授
权、租户数据隔离、租户的资源隔离等功能。
大数据平台应具有统一运维监控方面,可以图形化的实现安全管理、用户管理、监
控运维、服务调度、应用部署、资源管理、作业编排、服务接口等。
大数据平台应同时支持作业调度管理,即实现统一的作业调度与编排管理功能,支
持使用工作流的可视化的方式对工作任务进行统一编排和调度。同时支持作业的资源管
理、流程管理、任务管理、数据管理、应用管理、租户管理、多ETL 调度任务的部署和
并行处理等功能。
集团大数据平台的建设内容包含: