如何解决气流执行日期错误值
我必须运行spark作业,在该spark作业中,我们必须将date作为参数读取当前目录。我正在使用Airflow安排工作。以下是一些信息
开始日期
import pendulum
local_tz = pendulum.timezone("Asia/Kolkata")
start_date': datetime(year=2020,month=8,day=3,tzinfo=local_tz)
schedule_interval
schedule_interval='20 0 * * *'
通过工作的价值
{{ (execution_date + macros.timedelta(hours=5,minutes=30) - macros.timedelta(days=1)).strftime("%Y/%m/%d") }}
我们必须在前一天的午夜进行这项工作,但是这种表达方式让我约会了前一天。我加了5:30,因为我们的气流使用了UTC时间。
有人可以参考一下这里发生的事情吗?
谢谢
解决方法
以下是执行日期的定义
The execution time in Airflow is not the actual run time,but rather the start timestamp of its schedule period. For example,the execution time of the first DAG run is 2019–12–05 7:00:00,though it is executed on 2019–12–06.Dec 9,2019
您不需要值中的宏.timedelta(days = 1))。strftime(“%Y /%m /%d”)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。