主数据产品技术白皮书附录.docx
需积分: 0 33 浏览量
2022-12-30
15:14:21
上传
评论
收藏 2.21MB DOCX 举报
1
详细设计方案
产品技术白皮书附录
1.1.1 数据集成系统
本项目构建的数据集成系统，实现整个业务系统数据归集，降低数据归集的难
度，加强各委办单位数据安全防护。
数据集成系统提供多种类型数据的归集能力，实现结构化、非结构化等多种数
据类型数据归集。支持数据实时、非实时、全量、增量等多种数据归集方式。在数
据归集过程中，支持可对数据行或字段过滤，对敏感数据进行脱敏处理。支持从不
同类型的数据源中抽取数据，对数据进行格式、类型与标准转换，并将数据加载到
目标数据库中。满足多数据源支持、简单易用、实时增量、高性能、高可靠、清洗
转换、自动建表等功能特性。
本期项目中建设的数据集成系统，同时满足将共享的数据从内部的数据库归集
到前置库中，以及将数据从前置库同步至分布式大数据计算系统的性能要求。
1.1.1.1 功能简介
数据集成系统提供对企业数据集成处理功能。通过数据集成系统，用户可以从
不同结构的数据源中抽取数据（ Extract ），对数据进行复杂的加工转换
（ Transform ），最后将数据加载到各种存储结构中（ Load ）。例如实现从多
个异构的数据源（不同数据库、结构化文件等）抽取数据，并加工成统一的数据格
式，最后加载到数据仓库中，供商业智能（ Business Intelligence ， BI ）等
应用使用。
数据集成系统提供简单、易用的开发、管理工具，提供从数据集成逻辑的设
计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工
具。通过数据集成系统可以实现对数据集成流程的开发和部署；通过监控和日志功
能，可以实现对数据集成的运行过程进行实时监视，对集成流程历史数据进行分
析。
数据集成系统提供强健、高效的数据处理引擎，支撑各种复杂的数据转换流
程、任务调度流程的高效运行。引擎采取异步并行处理的技术，实现流程中的每个
组件多线程并行高效处理；支持集群部署方式，允许将转换或转换中的比较耗时的
剩余40页未读，继续阅读
资源评论
