如何将Airflow Scheduler部署到AWS EC2？

如何解决如何将Airflow Scheduler部署到AWS EC2？

我正在尝试使用Airflow在AWS上构建一个简单的数据管道。 我创建了一个DAG，该DAG每天将数据抓取到S3，然后使用在EMR上运行的Spark Job对其进行处理。

我目前正在本地笔记本电脑上运行Airflow Scheduler，但是我当然知道这不是一个好的长期解决方案。

因此，我想了解一些有关将调度程序部署到EC2的提示（工作量大小，部署过程或了解任何其他有用的信息）

解决方法

本地运行通常不是可行的测试后阶段。因此，您需要一个正在运行的服务器。以下是将其部署到AWS EC2的选项和指南。

您可以使用docker / airflow映像在EC2实例上部署气流。 T3.medium就足够了。通常没有太多DAG。我们可以创建一个每7天运行一次的工作流，并清理日志文件。因此，就磁盘而言，如果内存消耗保持不变就不会有问题。您可以像在本地计算机上一样在ec2上正常安装和配置气流，但是我更喜欢通过puckel here使用docker image对其进行设置。

首先，您可以使用已安装docker的AMI，也可以自行安装。

下一步，从泊坞窗拉取图像

docker pull puckel/docker-airflow

在这里，您可能会遇到SQLAlchemy版本conflit的问题（如果不忽略此步骤。因此，请在DockerFile中更改此行以使用其他版本的气流，例如1.10.10

ARG AIRFLOW_VERSION=1.10.9 # change this to 1.10.10 ( or hardcode sqlalchmy version)

下一步，您可能需要在postgres中添加一个用户。

现在您可以运行它

docker run -d -p 8080:8080 puckel/docker-airflow webserver

要输入命令行（用于启动executor，scheduler等），请从中获取容器名称/ id

docker ps

并使用此命令

docker exec -ti <name_of_container> bash

此外，为了将ec2文件夹与docker dags文件夹一起安装，您可以按以下方式进行安装，并且您的dags将与airflow dags同步

docker run -d -p 8080:8080 -v /path/to/dags/on/your/ec2/folder/:/usr/local/airflow/dags  puckel/docker-airflow webserver

为了从其他任何计算机（您拥有笔记本电脑）的浏览器中访问此文件

首先，为您的IP启用安全组中的ec2 http端口8080

并从浏览器中，您可以通过

进行访问

<ec2-public-ip>:8080

其他第三方托管选项可在AWS上运行气流

Astronomer是一家在所有云平台上提供完全托管的Airflow的公司，具有监控等高级功能。他们在其团队中贡献了一些顶级的Airflow。

费用：

在t3.medium上运行整个月的Airflow的每月费用约为32.37美元，可以是calculated here

每10 AU（1个CPU，3.75 GB内存），天文学家的成本大约为100$/month（但要权衡取舍，由天文学家进行管理并提供支持等）

,

您需要在EC2机器上安装气流以管理EMR群集的所有这些请求。

遵循气流安装

https://airflow.apache.org/docs/stable/installation.html

您可以在此处检查所有气流执行器-

https://airflow.apache.org/docs/stable/executor/index.html

我建议您为此安装celery executor。 在您的EC2机器上，您应至少安装3个气流服务

气流网络服务器-访问气流用户界面 airflow webserver start

气流调度程序-触发故障 airflow scheduler start

气流工作者-运行任务 airflow worker start

还极力建议您安装数据库（mysql，postgres）以存储来自气流的元数据。您可以从EC2计算机外部以AWS RDS Postgres的身份运行此数据库，然后可以使用数据库的连接字符串信息编辑airflow.cfg文件。