百度Palo-为数据分析而生.pdf

Apache Doris，原名百度Palo，是一款专为数据分析设计的高性能、分布式分析型数据库。它基于MPP（大规模并行处理）架构，能够提供卓越的性能，即使面对PB级别的大数据，也能实现实时或亚实时的数据响应。Doris最初由百度自主研发，于2017年开源，并在2018年贡献给了Apache社区，更名Apache Doris。在百度内部，Doris曾被称为Palo，并在百度云上提供了企业级托管版本。 Doris的主要应用场景包括在线分析处理（OLAP）、实时报表、多维分析和自助查询等。它可以连接各种数据源，如Web端日志、移动端日志、本地文件和对象存储，支持业务应用、实时大屏展示和用户画像构建。Doris的发展历程经历了多个阶段，从2008年开始服务于百度凤巢统计报表，逐渐演进为一个通用化、高性能的数据库系统，服务了百度内部众多报表业务。 Doris的产品优势主要体现在以下几个方面： 1. **简单易用**：高度兼容MySQL协议，使得用户可以轻松上手，同时支持在线表结构变更，适应业务需求变化。 2. **扩展性强**：采用主从架构，无需依赖其他组件，单集群可水平扩展至200台以上，且支持集群动态伸缩。 3. **性能卓越**：查询性能业界领先，能够实现高并发查询，如100台集群达到10w QPS，流式导入速度高达100MB/s，小批量导入延迟低至毫秒级别。 4. **高可用**：具备数据和元数据高可用性，确保线上服务稳定性，遇到机器故障时，副本会自动迁移。 Doris的架构设计简洁，由Frontend（FE）和Backend（BE）两部分组成。FE负责解析、生成和调度查询计划，BE负责执行查询计划和数据存储。这种架构使得Doris易于管理和扩展。 在性能保障方面，Doris采用列式存储，降低I/O消耗并便于数据压缩，同时Key列全局有序，便于快速查询定位。此外，Doris支持两种数据模型：聚合模型和明细模型。聚合模型允许用户指定相同key的Value列进行预聚合，提高查询效率；明细模型则保留数据的原始粒度，实现精准去重或快速排序。 物化视图是Doris提升性能的另一利器，它将预计算的查询结果存储在视图中，用户可以在原始数据上进行任意维度分析，同时也能快速获取固定维度的聚合结果，极大地提高了数据分析的效率。 Apache Doris是一款针对大数据分析场景精心设计的数据库系统，它的高性能、易用性和高可用性使其在数据分析领域具有广泛的应用前景。随着社区的不断发展和优化，Doris已经成为一线互联网公司首选的数据分析工具之一。