airflow专题提供airflow的最新资讯内容,帮你更好的了解airflow。
是否有可用的API或函数可以按需在气流中创建DAG? DagBag文件夹上有超过一千个DAG,并且调度程序需要花
我正在配置Airflow FAB UI以使用LDAP身份验证。目前,我可以使用此功能,但是只能按LDAP中一个组的成员的
我想删除GCS存储桶中DAG末尾的临时文件。当我在arguments对象中添加值列表时,出现一个错误,即找不到
我有一个子查询,该子查询使用包含<code>soft_fail=true</code>的传感器运算符,以便跳过而不是使任务失败
我有一种情况,我想对在Airflow DAG中通过<code>on_failure_callback</code>调用的操作员进行集成测试。 此DA
<pre><code>kubernetes_min_pod = kubernetes_pod_operator.KubernetesPodOperator( task_id=&#39;pod-ex-minimum&#39;, name=&#39;pod-ex-mi
我的公司使用<code>git-sync</code>将压缩的dag同步到气流。我们使用气流舵图来部署气流。我想知道是否可
它成功创建了<code>airflow initdb</code>表,但冻结了步骤: <pre><code>INFO [alembic.runtime.migration] Running upgrade
我正在创建DAG,以将一些数据从Big Query导入Cloud SQL 一切正常,但我需要删除Cloud SQL目标表 我的功
我想实例化一个任务(通过气流),该任务会将Google云存储中存储桶中的文件复制到驱动器中。 我
我们必须将Apache Airflow连接到安全的PostgreSQL实例。因此,我们更改了配置设置并添加了以下示例中的参
我正在努力使用gsutil cp命令将某些文件从云存储复制到Windows Server计算机。 我无法在Windows机器内执
我们目前正在评估一个项目的气流。我想知道是否有一种方法可以在并行运行DAG多次时停止/启动单个dagr
尝试连接到哨兵(气流芹菜)。 不起作用: <pre><code>broker_url = sentinel://127.0.0.0:26379/1 result_backend
<strong>版本</strong> <ul> <li>气流:1.10.7 </li> <li> Kubernetes:1.14.9 </li> </ul> <strong>设置</strong> Ai
Google Cloud Composer airflow DAG完成后,我需要发送通知电子邮件。我已经找到了解决方案,并按照Google文档
我有一个要存储的XCom值,我想传递给另一个不使用PythonOperator调用的python函数。 <pre><code> def sql_file_te
我在S3中有一个目录,假设<code>s3://test-bucket/test-folder/2020-08-28/</code>具有这样的文件: <pre><code>2020-08-2
我有一个python / django项目(在docker容器中运行)。有一个数据收集工作流是通过celery任务实现的,这些
我试图在puckel docker-airflow容器中安装poppler-utils,以便可以通过Airflow BashOperator对pdftotext进行命令行调用