医疗大数据平台设计思路.docx

医疗大数据平台设计思路 医疗大数据平台是一种使用分布式、实时或离线计算框架的平台，例如 Hadoop、Spark、Storm、Flink、Blink等，旨在服务于业务需求，解决现有的业务问题或创造新的机会。该平台的设计需要考虑到大数据平台的整体架构和技术架构两个方面。 大数据平台的整体架构可以分为七大部分：目录管理、数据集成、数据资产管理、数据治理、数据开发、数据分析和数据共享及数据安全。 目录管理是指通过盘点和梳理业务数据，编制、发布数据目录，规划和指导数据的接入、管理、治理、开发、共享等。 数据集成是指为大数据平台提供基础支撑性服务，提供多种数据接入工具，实现结构化和非结构化的数据的汇聚接入，并支持数据的预处理，为大数据平台提供原始数据支撑。 数据资产管理是指通过管理数据标准、元数据、数据资源等，提高数据资产的价值。 数据治理是指规范数据的生成以及使用，发现并持续改善数据质量。 数据开发是指提供大数据开发、分析、挖掘等功能。非专业的业务人员也可以利用图形化的 IDE 进行数据分析。 数据分析是指提供从基本数据查询统计、数据交叉汇总、自由钻取分析、多维数据分析等多层次的数据分析功能。 数据共享是指实现不同部门、不同格式数据的共享交换，以及异构系统之间、新老系统之间的信息的透明交换。 数据安全是指提升一系列安全工具，包括数据加密、数据脱敏、数据备份、日志审计等。 大数据平台的技术架构从下往上依次为数据源层、数据获取层、数据存储层、数据处理层、数据应用层。 数据源层可以分为非结构化数据、半结构化数据和结构化数据三种类型。非结构化数据是指无法直接知道它的内容的数据，例如图片、声音、视频等。半结构化数据是指具有一定的结构性，但是结构变化很大，例如 XML 格式的数据。结构化数据是指严格地遵循数据格式与长度规范的数据，例如关系型数据库中的数据。 数据获取层的主要作用是实现多源异构数据的采集、聚合、传输及预处理，集成多种数据采集工具，例如 Sqoop、Flume、Kettle 等。 数据存储层可以采用关系数据库、NoSQL 数据库、分布式文件系统等多种存储方式。 医疗大数据平台的设计思路需要考虑到大数据平台的整体架构和技术架构两个方面，旨在服务于业务需求，解决现有的业务问题或创造新的机会。