Ranger学习—— 基础概念

大数据最基本就是数据以及用于计算的资源，需要将相应的数据和资源开放给对应的用户使用，以防被窃取、被破坏造成损失，这个就涉及大数据安全。 主流的大数据安全组件Kerberos由于使用临时的用户验证机制不适用用户多的情况、Sentry只适用少部分的Hadoop生态组件应用场景少。 Apache Ranger 是一个强大的数据安全框架，它为Hadoop生态系统提供了集中式、策略驱动的访问控制解决方案。Ranger的出现解决了Kerberos和Sentry在大数据安全领域的局限性，前者因为临时用户验证不适合大规模用户环境，后者则应用范围相对较小。Ranger通过统一的权限模型和管理界面，使得数据权限管理更为简单，降低了学习和使用成本。 一、Ranger的基本概念 Ranger的核心功能是提供一个集中的安全管理框架，处理授权和审计问题。它支持多种Hadoop组件，如HDFS、HBase、Hive、Solr等，涵盖了文件、数据库表、列族、元数据等多个层面的权限管理。Ranger的一大优点是其细粒度级别的权限控制，例如在Hive中可以控制到列级别的访问权限。此外，Ranger的权限模型基于访问策略，易于理解和操作，且权限控制插件化，方便策略的管理和更新。审计日志功能则有助于跟踪和监控系统活动，增强了安全性。 二、Ranger的基本架构 Ranger架构主要包括三个主要组件： 1. Ranger Admin：这是Ranger的管理界面，提供策略的创建、修改、删除等操作，并通过Web UI和REST API接口对外提供服务。Ranger Admin还负责存储用户信息，这些信息来源于Ranger UserSync的同步。 2. Ranger UserSync：该组件负责从LDAP、Unix或其他用户目录服务同步用户和用户组信息，更新到Ranger Admin的数据库中。 3. Plugin：作为插件集成到各个Hadoop组件中，它们从Ranger Admin获取策略，根据用户的访问请求执行策略，并记录审计日志到Solr。 三、Ranger组件的其他功能 除了上述组件，Ranger还包括Ranger Tagsyncs，用于从标签源（如Atlas）同步标签信息，以及Ranger KMS，这是一个基于Hadoop KMS的密钥管理服务，支持HDFS静态数据加密。 四、权限模型及实现 Ranger的权限模型由“用户-权限-资源”组成，其中用户和用户组可以被授予或拒绝对特定资源的访问权限。权限策略由AllowACL和DenyACL构成，允许列表（AllowACL）定义了允许的访问条件，而拒绝列表（DenyACL）指定了禁止的访问情况。Ranger Admin定义并存储这些策略，而Plugin负责执行这些策略，确保只有授权的用户和操作才能在Hadoop组件上执行。 Apache Ranger通过其灵活的权限模型和强大的管理能力，成为了大数据环境中数据安全的重要工具，为复杂的数据访问控制和审计提供了有力的支持。