华为大数据考试资料.pdf

华为大数据考试资料详细知识点如下： 1. HBase主要特点：HBase是一个分布式、面向列的存储系统，它具有高可靠性、高性能和可伸缩性。面向列存储意味着数据按列进行存储，而不是按行，这种设计使得HBase在处理大量数据时能够非常高效。 2. HBase默认使用HDFS：HBase内部使用Hadoop分布式文件系统(HDFS)作为底层存储，这是因为HBase利用了HDFS的高容错性和可扩展性特点来存储其数据文件。 3. HBase不适合ACID特性应用场景：HBase没有实现完整的ACID特性（原子性、一致性、隔离性和持久性），因为它更多地追求高可用性和高并发处理，而非数据库事务处理。 4. HBase存储模型：HBase的存储模型以KeyValue的形式存在，包含时间戳、类型等关键信息。同一Key可以关联多个Value，每个KeyValue都有一个Qualifier标识，如果Key相同而Qualifier也相同，则可以通过时间戳来区分不同的Value。 5. HBase分布式存储单元：Region是HBase分布式存储的基本单元，每一个Region负责存储表的一部分数据。 6. HBase数据文件HFile：HFile是HBase中数据存储的文件格式，它包含了KeyValue格式的数据，其中包括Key、Value、TimeStamp、KeyType等。 7. Region分裂：当HBase中的Region大小逐渐变大时，它会产生分裂，即拆分为两个较小的Region，以维护系统的高效运行。 8. HMaster功能：HMaster是HBase集群中的主服务器，负责RegionServer的负载均衡，建表/修改表/删除表的操作，以及Region的负载均衡和分裂后的Region分配。当RegionServer失效时，HMaster还会负责Region的迁移。 9. HMaster选举：HBase使用ZooKeeper来进行主HMaster的裁决选举，以确保集群中有且只有一个活跃的主HMaster。 10. Region管理：HBase中的Region由HRegionServer进程管理，负责处理用户的数据读写请求，进行数据处理和计算，同时管理所有的Region。Region可以在不同的RegionServer之间迁移。 11. Region物理存储单元：在HBase中，Region的物理存储单元是ColumnFamily（列族），每个列族下可以有多个列限定符。 12. HBase二级索引：HBase支持二级索引，它通过将要查找的列与RowKey关联来创建新的索引表，使得查询更加灵活。二级索引会增加查询次数，因为查询分为两次：一次是通过二级索引表查询到RowKey，第二次是通过RowKey获取完整的行数据。 13. 统一用户管理系统：在大数据平台中，通过统一用户管理系统可以实现各种开源组件应用系统的用户、角色和组织机构统一化管理，以及实现应用系统间跨域的单点登录登出和统一的身份认证功能。 14. 统一认证管理系统：主流厂商的统一认证管理系统通常由统一认证管理模块、统一身份认证服务器和身份信息存储服务器组成。 15. LdapServer功能：在华为大数据解决方案中，LdapServer作为目录服务系统，基于OpenLDAP开源技术实现，以BerkeleyDB作为后端数据库，支持LDAP标准协议，并支持TCP/IP协议。它可以实现对大数据平台账号的集中管理。 16. LdapServer组织模型：LdapServer的目录信息以树形结构存储，每个节点被称为条目，并拥有唯一的名称DN（Distinguished Name）。树根一般定义为域名dc（Domain Component）。 17. LdapServer存储模式：类似于关系型数据库，LdapServer的域名dc可以比作数据库，组织单位ou类似于表的集合，用户uid类似于表中的主键，对象名称cn类似于表中数据的名称。 18. LdapServer操作：LdapServer能够支持查询、更新、认证等不同类别的操作。 19. LdapServer组管理：LdapServer中的Group（组）用于对用户进行统一的组管理。如果用户被添加到某个组中，该组的member属性中就会添加成员的dn（Distinguished Name）记录。 以上知识涵盖了HBase的基本架构、存储原理、操作机制、特性、应用场景、以及华为大数据解决方案中LdapServer的相关知识点。通过这些知识，可以对华为大数据考试内容有一个全面的理解和准备。