大数据技术之CM6.3.1+CDH6.3.2 集成 Atlas2.2.0.pdf

大数据技术之CM6.3.1+CDH6.3.2 集成 Atlas2.2.0.pdf 本文档主要介绍了如何将CM6.3.1和CDH6.3.2集成到Atlas2.2.0中，实现大数据技术的集成和应用。下面是相关知识点的总结： 1. Atlas2.2.0的安装和配置： Atlas是Apache的一个元数据管理项目，用于管理大数据平台的元数据。Atlas2.2.0需要与CDH6.3.2集成，以便在大数据平台中应用元数据管理。 2. CM6.3.1和CDH6.3.2的集成： CM6.3.1是Cloudera Manager的版本，CDH6.3.2是Cloudera的大数据平台版本。两个版本的集成可以实现大数据平台的自动化管理和监控。 3. pom.xml文件的配置： 在Atlas2.2.0的安装过程中，需要修改pom.xml文件，以便与CDH6.3.2集成。pom.xml文件用于定义项目的依赖关系和版本信息。 4. Atlas2.2.0中的Hadoop和Hive版本问题： Atlas2.2.0默认使用Hadoop 3.3.0和Hive 3.1.0版本，但是CDH6.3.2使用的是Hadoop 3.0.0和Hive 2.1.1版本。因此，需要修改Atlas2.2.0的源码，以便与CDH6.3.2集成。 5. Java代码的修改： 在Atlas2.2.0的源码中，有些方法和枚举需要修改，以便与CDH6.3.2集成。例如，在addons/hive-bridge/src/main/java/org/apache/atlas/hive/bridge/HiveMetaStoreBridge.java文件中，需要将catalogName的默认值修改为空。 6. Maven和Java版本的配置： 在Atlas2.2.0的安装过程中，需要配置Maven和Java的版本，以便与CDH6.3.2集成。Maven的版本需要是3.8.3，Java的版本需要是1.8.0_181。 7. 部署Atlas2.2.0的步骤： 部署Atlas2.2.0需要下载源码包，解压缩，修改pom.xml文件，编译和安装Atlas2.2.0。 8. 大数据技术的应用： 大数据技术的应用包括数据存储、数据处理、数据分析和数据 Visualization等。Atlas2.2.0的集成可以实现大数据平台的自动化管理和监控，提高大数据平台的效率和稳定性。 本文档介绍了如何将CM6.3.1和CDH6.3.2集成到Atlas2.2.0中，实现大数据技术的集成和应用。