基于HBase实时数仓探索实践.pdf

标题所涉及的知识点为“基于HBase实时数仓探索实践”，描述中提到构建实时数据仓库系统技术。HBase是一个开源的非关系型分布式数据库（NoSQL），它是Apache Software Foundation下的Hadoop项目之一。HBase利用Hadoop的HDFS作为文件存储系统，提供了高可靠性的海量数据存储功能，并支持随机实时读写访问，非常适合于实时数据仓库的构建。 从内容部分来看，本文主要围绕以下几个关键知识点进行探讨： 1. 第一代离线数仓与第二代实时数仓的区别：第一代数仓通常指的是批处理数据仓库，数据更新周期较长，不适合对实时性要求高的业务场景。第二代实时数仓则是以更高速度处理数据，可以实现实时数据采集、处理、分析，进而支持实时决策。 2. 实时数据采集技术的选用：文中提到了使用Maxwell进行实时数据采集，Maxwell可以将MySQL数据库变更以JSON格式输出到消息队列（如Kafka）中。Maxwell支持多种特性，包括对全表扫描的启动（bootstrapping）、在主节点故障时自动恢复位置（master promotion）、灵活的分区模式等。 3. HBase的选择理由：由于HBase的分布式和可扩展特性，非常适合存储大规模的数据表，并能支持实时的数据读写访问需求。HBase提供了高并发随机访问的特性，适用于需要支撑数十亿行、数百万列的超大表的数据仓库场景。 4. Phoenix的选用及其优势：Phoenix是一个开源SQL层，建立在HBase之上，为用户提供SQL查询能力。它通过提供Salted Tables（分桶表）、Secondary Indexes（二级索引）等功能来优化HBase的查询性能，并支持与Spark集成，进一步提升数据处理能力。 5. HBase与CDH（Cloudera Distribution Hadoop）版本的兼容性问题：文中的实践案例提到了为了支持特定版本的CDH和Spark，需要对Phoenix进行定制编译。这也是在生产环境中常见的实践，以确保各个组件之间的兼容性。 6. 基于HBase的实时数仓架构设计：文中介绍了数据仓库模型的三个层次，第一层为基础表，第二层为事实表和维度表，第三层为领域表。此外，还涉及了数据校验环节，即数据量的比对工作，确保数据的准确性和完整性。 7. 具体业务场景的实施案例：文中提到当前实施案例是采集OMS（Order Management System，订单管理系统）和WMS（Warehouse Management System，仓库管理系统）的18个数据库。强调了在该场景下，每秒钟的数据处理能力（QPS）是2000条数据，平均每条数据有60个字段，文件大小为495字节。 通过上述知识点，我们可以看出构建基于HBase的实时数仓需要考虑的不仅仅是技术选型，还包括数据采集、存储、查询、分析、集群管理、调优监控等各方面的实践和问题解决。需要有一套完整的架构设计和部署策略来保证数据仓库系统的高效、稳定运行。这对于大数据平台的技术工作者来说是一个重要的课题。