apache-airflow-xcom专题提供apache-airflow-xcom的最新资讯内容,帮你更好的了解apache-airflow-xcom。
假设有一个文件,该文件将具有火花配置参数,例如执行程序编号,执行程序内存。在气流工作流程中
我正在尝试编写一些气流集成测试,其中,我通过从自定义PythonOperator返回文件列表来模仿<a href="https://a
我有一个要传递给xcom的对象,希望从操作员那里读取。 这是我的接线员: <pre><code>load_csv = GCSTo
我有一个Airflow docker容器和另外两个容器(dc1和dc2)。我正在尝试在task1的dc1中执行命令(通过DockerOperato
我有一个python运算符。 <pre><code>&gt;&gt;&gt; list(map(asterisk(lambda k, v: k * v), d.items())) [&#39;a&#39;, &#39;bb&#39;]
<strong>任务</strong>失败时,是否有可能在<strong>期间提取先前在其他<strong>任务</strong>中设置的<strong> XCOM
但是这不能正常工作,我应该承认这是我第一次使用python。任何帮助将非常有用。我整理了一个测试DAG
我正在创建一个传递任意数量的运算符和参数并创建DAG的函数,我在渲染jinja时遇到问题,我在相关的运
我有一个用例,我们在s3目录中有一组10个文件(比方说)。我们正在尝试将这些文件重命名为第二个目
我有以下任务,其中xcom变量呈现为字符串: <pre><code>prod_query = BigQueryExecuteQueryOperator( task_id=&#39;pro
要求:要从雪花中获取更多数据并插入到oracle表中 问题:错误-类型为'int'的对象没有len() <pre
<a href="https://i.stack.imgur.com/SD8nQ.jpg" rel="nofollow noreferrer">enter image description here</a> 当我尝试通过连续运行2
我希望自动将run_id设置为更有意义的名称。 据我了解,现在run_id是在TriggerDagRunOperator中设置的。
我需要获取上游任务失败的异常详细信息(使用databricks运算符执行databricks作业的任务),如果任务基于
这是我的任务,当任务失败时,它将调用<code>on_dag_failure</code>。 <pre><code> dag = DAG(&#39;my_dag_id&#39;
我正在遍历包含一些sql文件的文件夹。对于每个文件,我都希望将其作为xcom值推送,并为每个查询提供
我想通过Airflow从MS Exchange Server邮箱中提取附件。 您能否建议哪个Airflow操作员将帮助访问和从MS Exch
我想实现一种动态FTPSensor。使用贡献的FTP传感器,我设法以这种方式工作: <pre><code>ftp_sensor = FTPSensor
这是我想要实现的预期流程和依赖项设置: START ===>创建表列表(仅在触发DAG时一次)===>(通过XCO
我创建了一个xcom,我希望将结果作为PostgresOperator参数获取。我尝试过了 <pre><code>my_task = PostgresOperator