数据中台技术架构方案.pptx
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
![preview](https://dl-preview.csdnimg.cn/88758327/0001-b310acb752d6b97819ad18aed5e79f9d_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
数据中台技术架构方案 数据中台技术架构方案是基于大型金融级复杂数据环境的数据中台解决方案,该方案通过数据集成平台、数据计算平台、数据服务平台三大模块来实现数据的集成、计算和服务。下面是该方案的详细知识点: 一、数据集成平台 * 数据标准化:以实体对象为中心的业务主数据提炼、DMP构建,实现ID识别连接、标签标准规范地自动化生产建设 * 自动化:自动化构建虚拟数据集市、主题库和专题库,即时响应业务的快速变化 * 资产化:支持资产化视角构建及管理数据体系,适用于数据类型多样,需要统一管理数据的业务场景 二、数据计算平台 * 业务智能化:通过机器学习算法动态识别数据的业务特征,智能推荐业务所需要的数据模型策略 * 配置任务管理:断点续传数据对账数据分发数据处理数据计算标识加工关联任务调度 * 清洗提取规则:业务资源库原始库业务实体库标签关键词业务知识库业务库数据资源目录元数据管理信息库主题库知识库模型业务专题库统一索引库数据存储备份库数据集成数据服务基础应用服务数据管理服务数据共享服务 三、数据服务平台 * 数据治理:资源目录分级分类数据血缘数据标准元数据数据质量统一元数据统一访问统一账户与权限全链路监控 * 大数据云总体技术架构:托管弹性大数据基础服务超大规模智能计算和存储管理服务智能数据管理统一调度系统统一数据查询搜索分析引擎数据采集数据集成离线计算实时计算图计算统一存储统一调度大数据云基础平台交互查询和分析服务全链路监控大数据云生态组件金融大数据服务数据仓库AI云平台统一元数据、访问、存储、调度、权限、监控监管报表企业服务客户关系风险管理一站式数据分析与深度挖掘服务数据可视化模型化业务分析服务报表服务检索服务推荐服务在线事件服务 四、数据中台典型架构 * 数据中台技术架构:数据中台总体架构Web IDE代码库桌面IDE插件任务流程设计器……SQL作业调度作业执行信息作业资源消耗作业重跑补数据作业集成数据来源数据中心(DW)业务源端数据采集调度台务数开发模块集成工具测试工具发布工具据中代码开发数据源配置功能测试任务发布服运行调度集成规则性能测试节点发布区版本管理集成调度测试报告发布管理Spark代码构建打包提交代码执行SQL节点执行Spark节点执行计算资源用户信息同步登录权限用户权限管理资源申请资源详情资源销毁4A统一认证多租户管理数据中台业务架构数据集成数据开发运维监控半结构化存储NoSQL消息队列关系型数据库非结构化存储数据源管理数据源类型连接属性数据源配置数据来源字段映射调度配置基础属性时间属性集成任务管理调度依赖连通性测试资源消耗监控数据来源数据去向集成任务管理资源消耗监控离线任务同步任务任务资源消耗同步任务任务开发任务节点任务发布提交测试脚本管理脚本分类血缘分析脚本编辑任务编排可视化编排串联编排依赖配置调度配置调度时间策略配置调度脚本管理调度配置语法校验任务监控实时预警监控报表任务运维周期实例补数据实例任务重跑任务视图任务监控系统管理租户管理用户管理角色管理权限管理菜单管理日志管理同步任务… 五、数据中台技术架构的应用场景 * 数据交换:数据交换数据中台总体架构Web IDE代码库桌面IDE插件任务流程设计器……SQL作业调度作业执行信息作业资源消耗作业重跑补数据作业集成数据来源数据中心(DW)业务源端数据采集调度台务数开发模块集成工具测试工具发布工具据中代码开发数据源配置功能测试任务发布服运行调度集成规则性能测试节点发布区版本管理集成调度测试报告发布管理Spark代码构建打包提交代码执行SQL节点执行Spark节点执行计算资源用户信息同步登录权限用户权限管理资源申请资源详情资源销毁4A统一认证多租户管理数据中台业务架构数据集成数据开发运维监控半结构化存储NoSQL消息队列关系型数据库非结构化存储数据源管理数据源类型连接属性数据源配置数据来源字段映射调度配置基础属性时间属性集成任务管理调度依赖连通性测试资源消耗监控数据来源数据去向集成任务管理资源消耗监控离线任务同步任务任务资源消耗同步任务任务开发任务节点任务发布提交测试脚本管理脚本分类血缘分析脚本编辑任务编排可视化编排串联编排依赖配置调度配置调度时间策略配置调度脚本管理调度配置语法校验任务监控实时预警监控报表任务运维周期实例补数据实例任务重跑任务视图任务监控系统管理租户管理用户管理角色管理权限管理菜单管理日志管理同步任务… 六、数据中台技术架构的优势 * 高效处理大数据:数据中台技术架构可以高效处理大数据,满足业务需求 * 实时监控数据:数据中台技术架构可以实时监控数据,时刻掌握业务变化 * 数据智能化:数据中台技术架构可以智能化数据处理,提高数据价值 * 安全可靠:数据中台技术架构可以确保数据安全可靠,保护企业的数据资产
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/release/download_crawler_static/88758327/bg1.jpg)
![](https://csdnimg.cn/release/download_crawler_static/88758327/bg2.jpg)
![](https://csdnimg.cn/release/download_crawler_static/88758327/bg3.jpg)
![](https://csdnimg.cn/release/download_crawler_static/88758327/bg4.jpg)
![](https://csdnimg.cn/release/download_crawler_static/88758327/bg5.jpg)
剩余49页未读,继续阅读
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
![avatar-vip](https://csdnimg.cn/release/downloadcmsfe/public/img/user-vip.1c89f3c5.png)
- 粉丝: 511
- 资源: 1万+
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)