airflow专题提供airflow的最新资讯内容,帮你更好的了解airflow。
我喜欢将分区列名传递给BigQueryOperator,而不是使用提取时间已分区的表。 <pre><code> bq_cmd = BigQuer
我需要依次调用三个必要的基本节点(PythonOperators)。让我们考虑一种情况,其中我的系统接收到<code>jp
我有3个表,我需要检查“比率”列中的表是否为正数。 表具有不同的架构,但是它们都有一个名为“ ra
我正在尝试使用<strong> LDAP </strong>登录名使<strong> Airflow [1.10.7] </strong>与<strong> rbac </strong>(基于角色的
我正在学习Airflow,并计划设置一些变量以用于不同的任务。这些位于我的dags文件夹中,另存为<code>config
当我尝试将Composer环境(在GCP上)从版本<em> composer-1.7.2-airflow-1.10.2 </em>升级到<em> composer-1.12.0-airflow-1.10
这里有一个类似的问题,但是从2018年开始,解决方案要求更改工人的基本形象。另一个建议是将ssh放入
我在docker中运行了Airflow,我们已经在airflow.cfg中配置了SMTP,并在启用失败后通过电子邮件创建了一个测
我试图用芹菜后端启动气流工作人员,而与此同时我正在使用以下命令- 气流工人 现在我的芹菜连接已
PendingDeprecationWarning:无法将请求的任务添加到DAG,因为DAG中已经有一个具有task_id create_tag_template_field_re
每当我的.gz文件超过2 GB大小限制时,我都会收到此错误“字符串长于2147483647字节”。无论如何,我可以
我正在关注此博客以启动cloudformation堆栈<a href="https://aws.amazon.com/blogs/machine-learning/build-end-to-end-machine-lear
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在由私有Google Container Registry中的映像构建的环境中运
我想公开一个前端用户界面,以接受来自用户的后端数据管道中的某些输入参数,然后在前端用户界面
这里有没有人将气流日志发送到<code>S3</code>?<br/> <br/> 我正在运行气流版本<code>1.10.9</code>,并且
我当前在Airflow 1.10上使用Celery Executor。我的经纪人是AWS Elasticache Redis(v。5.0.6)。如何启用传输加密?</
我使用LocalExecutor在Airflow 1.10.11上遇到了SIGTerm错误。 <pre><code>[2020-09-21 10:26:51,210] {{taskinstance.py:955}} ERR
我在安排DAG正常运行时遇到问题,尤其是在<code>schedule_interval</code>和<code>start_date</code>方面。 气流
我有一个用例,我们在s3目录中有一组10个文件(比方说)。我们正在尝试将这些文件重命名为第二个目
我正在一个项目中,该项目从AWS S3抓取一组输入数据,对其进行预处理和分割,旋转1万个批处理容器以