Wherehows 环境搭建

### Wherehows环境搭建知识点详解 #### 一、概述 Wherehows是一个开源的数据目录平台，主要用于企业级数据管理，包括元数据管理、数据血缘分析等。本文将详细介绍如何搭建Wherehows环境，以便更好地理解和操作该系统。 #### 二、环境准备 在开始搭建Wherehows之前，首先需要准备好以下基础环境： - **Play框架**：版本为2.4.8。 - **Java**：版本为1.8。 - **MySQL**：版本要求在5.6及以上。 确保所有软件版本一致，避免因版本差异导致的问题。 #### 三、下载与编译Wherehows源码 ##### 3.1 安装Play框架 由于Wherehows基于Play框架开发，因此首先需要安装Play框架2.4.8版本。安装完成后，为了防止出现`StackOverflowError`错误，需要调整Play框架的配置文件。具体操作是在`$PLAY_HOME/framework/build`目录下修改配置信息，将JVM参数设置为： ``` $JAVA"${DEBUG_PARAM}-Xms512M-Xmx1536M-Xss2M ``` 这将JVM初始堆内存设置为512MB，最大堆内存设置为1536MB，并将线程栈大小设置为2MB。 ##### 3.2 下载源码 通过Git命令下载Wherehows的源码，建议使用特定版本以确保稳定性和兼容性： ```sh git clone https://github.com/linkedin/WhereHows.git ``` 然后切换到指定的tag版本，例如0.2.2： ```sh cd WhereHows git checkout tags/0.2.2 ``` ##### 3.3 源码编译 使用Gradle构建工具来编译Wherehows项目： ```sh ./gradlew build ``` 此命令会自动下载所需的依赖并进行编译。 #### 四、初始化数据库 Wherehows需要一个MySQL数据库来存储元数据和其他信息。 ##### 4.1 创建数据库 在MySQL中创建名为`wherehows`的数据库，并指定字符集为`utf8`： ```sql CREATE DATABASE wherehows DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; ``` ##### 4.2 创建数据库用户 创建两个数据库用户，分别为`wherehows`和`wherehows_ro`（只读用户），并授予相应的权限： ```sql CREATE USER 'wherehows'@'localhost' IDENTIFIED BY 'wherehows'; CREATE USER 'wherehows'@'%' IDENTIFIED BY 'wherehows'; GRANT ALL ON wherehows.* TO 'wherehows'@'localhost'; GRANT ALL ON wherehows.* TO 'wherehows'@'%'; CREATE USER 'wherehows_ro'@'localhost' IDENTIFIED BY 'readmetadata'; CREATE USER 'wherehows_ro'@'%' IDENTIFIED BY 'readmetadata'; GRANT SELECT ON wherehows.* TO 'wherehows_ro'@'localhost'; GRANT SELECT ON wherehows.* TO 'wherehows_ro'@'%'; ``` ##### 4.3 执行建表语句 在Wherehows项目的`data-model/DDL`目录下执行SQL脚本以创建所有必要的表格： ```sh mysql -h localhost -u wherehows -pwherehows < create_all_tables_wrapper.sql ``` #### 五、启动服务 完成上述步骤后，可以启动Wherehows和backend-service服务。 ##### 5.1 启动Wherehows 在`web/target/universal/`目录下找到`wherehows-1.0-SNAPSHOT.zip`文件，并将其解压到指定服务器。接着修改配置文件`wherehows-1.0-SNAPSHOT/conf/application.conf`，设置backend-service的位置和其他数据库连接信息，例如： ```properties backend.service.url="http://127.0.0.1:9009" database.opensource.username="wherehows" database.opensource.password="wherehows" database.opensource.url="jdbc:mysql://172.31.25.11/wherehows?charset=utf8&zeroDateTimeBehavior=convertToNull" ``` 最后执行以下命令启动服务： ```sh ./wherehows-1.0-SNAPSHOT/bin/wherehows -Dhttp.port=9019 ``` ##### 5.2 启动Backend-Service 在`backend-service/target/universal/`目录下找到`backend-service-1.0-SNAPSHOT.zip`文件，并将其解压到指定服务器。接着修改配置文件`backend-service-1.0-SNAPSHOT/conf/database.conf`，设置数据库连接信息，例如： ```properties db.wherehows.driver=com.mysql.jdbc.Driver db.wherehows.url="jdbc:mysql://172.31.25.11/wherehows" db.wherehows.user="wherehows" db.wherehows.password="wherehows" db.wherehows.host="172.31.25.11" ``` 最后执行以下命令启动服务： ```sh ./backend-service-1.0-SNAPSHOT/bin/backend-service -Dhttp.port=9009 ``` #### 六、系统初始化 为了使系统正常工作，还需要执行一些初始化操作，例如插入系统属性值： ```sql INSERT INTO wh_property VALUES ('wherehows.app_folder', '/data2/data/wherehows/tmp', 'N', NULL); INSERT INTO wh_property VALUES ('wherehows.db.driver', 'com.mysql.jdbc.Driver', 'N', NULL); INSERT INTO wh_property VALUES ('wherehows.db.jdbc.url', 'jdbc:mysql://<your_host>/<your_db_name>', 'N', NULL); ``` 其中`<your_host>`和`<your_db_name>`需要替换为你实际使用的主机名和数据库名称。 通过以上步骤，你已经成功搭建了Wherehows环境，可以开始使用该平台进行数据管理和分析工作了。