clickhouse_zh.pdf

ClickHouse是一个列式数据库管理系统(DBMS)，主要用于联机分析处理（OLAP）的场景。与传统的行式数据库不同，列式数据库将同一列的所有数据连续存储，而不是行式数据库那样每一行的数据紧密存储。这种设计使得在处理大量列的读取操作时，能够大幅提升性能。 列式数据库的优势在于对分析类查询的优化。因为在OLAP场景中，经常发生的是读取操作远多于写入操作，且经常是读取大量数据行但仅需其中少数几列。例如，一个典型的数据仓库查询可能是要求“统计每个广告平台的记录数量”，此时只需要读取包含“广告平台ID”的那一列。如果列式数据库只需要读取100列中的5列，那么I/O消耗可减少20倍，大大提高了查询效率。 数据压缩在列式数据库中也变得更加容易和高效。由于数据以列为单位进行存储，因此相同类型的大量数据可以更加有效地进行压缩。假设“广告平台ID”这一列在未压缩情况下占1字节，如果大多数流量不是来自广告平台，则可以以十倍的压缩率进行压缩。解压速度同样很快，对于“统计每个广告平台的记录数量”的查询可以在单个服务器上以每秒几十亿行的速度进行处理，这正是目前的实现速度。 此外，在执行查询时，如果数据按列存储并且查询操作按列执行，将更加高效。因为这样的操作可以在整个向量上执行，而不是对每一行单独执行，这有助于减少CPU的调用成本。反之，如果不对数据进行列式存储和处理，查询引擎在使用机械硬盘时会频繁导致CPU暂停等待。 列式数据库管理系统特别适合用于数据仓库和大数据分析，因为它能够支持高效的数据聚合和压缩，减少I/O操作，加速查询处理速度。常见的列式数据库系统有Vertica、Paraccel(Actian Matrix，Amazon Redshift)、Sybase IQ、Exasol、Infobright、InfiniDB、MonetDB(VectorWise，Actian Vector)、LucidDB、SAP HANA、Google Dremel、Google PowerDrill、Druid、kdb+等。 在选择数据库管理系统时，需要根据不同的使用场景定制解决方案。高负载的系统尤其需要细致的定制，因为没有一个系统能够同时适用于截然不同的场景。当系统面向广泛的场景时，在负载高的情况下，会因为适应不同场景而影响到各个场景的性能。 OLAP场景的特征包括：读请求占大多数，数据以大于1000行的大批进行写入，已添加的数据不被修改，每次查询读取的行数多但仅需要少数列，查询数量较少，通常每台服务器每秒几百个查询，对简单查询可以接受大约50毫秒的延迟，列中的数据主要是数字和短字符串。在这样的场景下，列式数据库的性能往往优于行式数据库。 事务处理在OLAP场景中通常不是必须的，数据一致性要求相对较低。另外，列式数据库能够有效地将数据缓存到系统中，提高查询的处理速度。ClickHouse作为一个列式数据库，通过其独特的数据存储和处理方式，能够为OLAP用户提供高效、快速的数据分析能力。