大数据技术之impala.docx

"大数据技术之Impala" Impala 是 Cloudera 公司推出的高性能、低延迟的交互式 SQL 查询引擎，基于 Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。Impala 是 CDH 平台首选的 PB 级大数据实时查询分析引擎。 1.1 什么是 Impala？ Impala 是一种高性能的交互式 SQL 查询引擎，可以对 HDFS、Hbase 数据进行高性能、低延迟的交互式 SQL 查询。Impala 基于 Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。 1.2 Impala 的优缺点 Impala 的优点： * 基于内存运算，不需要把中间结果写入磁盘，省掉了大量的 I/O 开销。 * 无需转换为 Mapreduce，直接访问存储在 HDFS、HBase 中的数据进行作业调度，速度快。 * 使用了支持 Data locality 的 I/O 调度机制，尽可能地将数据和计算分配在同一台机器上进行，减少了网络开销。 * 支持各种文件格式，如 TEXTFILE、SEQUENCEFILE、RCFile、Parquet。 * 可以访问 Hive 的 metastore，对 Hive 数据直接做数据分析。 Impala 的缺点： * 对内存的依赖大，且完全依赖于 Hive。 * 实践中，分区超过 1 万，性能严重下降。 * 只能读取文本文件，而不能直接读取自定义二进制文件。 * 每当新的记录/文件被添加到 HDFS 中的数据目录时，该表需要被刷新。 1.3 Impala 的架构 Impala 的架构由三个模块组成：Impalad、Statestore 和 Catalog。Impalad 负责接收 client 的请求、Query 执行并返回给中心协调节点；Statestore 负责收集分布在集群中各个 Impalad 进程的资源信息、各节点健康状况，同步节点信息；Catalog 负责分发表的元数据信息到各个 Impalad 中。 2.1 Impala 的安装 Impala 的安装可以通过 Cloudera Manager 或手动安装。使用 Cloudera Manager 安装 Impala 可以简化安装过程。 2.2 Impala 的监护管理 Impala 的监护管理可以通过访问 StateStore 和 Catalog Sever 的页面来实现。 2.3 Impala 的初体验 Impala 的初体验可以通过启动 Impala shell，查看数据库，打开默认数据库等操作来实现。 Impala 是一种高性能的交互式 SQL 查询引擎，具有多种优点，但也存在一些缺点。Impala 的架构、安装和监护管理都是非常重要的知识点。