Apache Airflow Installation on Ubuntu

Apache Airflow 在 Ubuntu 上的安装 Apache Airflow 是一个流行的工作流管理系统，它提供了一个灵活的方式来编排和监控复杂的数据处理工作流。下面是 Apache Airflow 在 Ubuntu 上的安装步骤： Step 1: 更新系统 在安装 Apache Airflow 之前，需要更新Ubuntu系统，以确保所有软件包都是最新的。使用以下命令更新系统： `sudo apt-get update` Step 2: 安装 pip Apache Airflow 需要 pip 来安装。使用以下命令安装 pip： `sudo apt-get install python3-pip` Step 3: 安装 Apache Airflow 使用以下命令安装 Apache Airflow： `sudo pip3 install apache-airflow` Step 4: 安装 MySQL Apache Airflow 需要 MySQL 数据库来存储元数据。使用以下命令安装 MySQL： `sudo apt install mysql-server` Step 5: 安装 MySQL packages 使用以下命令安装 Airflow 的 MySQL packages： `sudo pip3 install "apache-airflow[mysql]"` Step 6: 创建数据库和用户 使用以下命令创建数据库、用户和授权： ``` mysql>CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; mysql>create user 'airflow'@'localhost' identified by 'airflow'; mysql>grant all privileges on *.* to 'airflow'@'localhost'; mysql>flush privileges; mysql>quit ``` Step 7: 安装 Celery Executor 使用以下命令安装 Celery Executor： `sudo pip3 install "apache-airflow[celery]"` Step 8: 更新 airflow.cfg 文件 在 `~/airflow/` 目录下找到 `airflow.cfg` 文件，更新 SQL 连接字符串和 Executor： ``` sql_alchemy_conn = mysql://airflow:airflow@localhost:3306/airflow executor = CeleryExecutor ``` Step 9: 初始化 Airflow 使用以下命令初始化 Airflow： `airflow db init` 如果遇到时间戳错误，可以按照以下步骤更新时间戳： 1. 打开 MySQL 客户端 2. 更新时间戳 3. 退出 MySQL 客户端 然后，创建管理员用户和密码以登录 Web UI： `airflow webserver --port 8080` `airflow scheduler` 使用以下命令启动 Airflow Web 服务器和调度器： `http://localhost:8080/airflow` 在生产环境中，需要将 `load_examples` 设置为 `False`，以免加载示例 DAGs： `nano airflow/airflow.cfg` `load_examples = False` 这样，Apache Airflow 就安装成功了！