如何解决无法在Ariflow DatabricksSubmitRunOperator中使用Jinja模板json字段
我已使用 DatabricksSubmitRunOperator 为Databricks作业创建了一个气流滞后,并且将
notebook_task = DatabricksSubmitRunOperator(
task_id='notebook_task',dag=dag,json={{var.json.notebook_task_params}})
在Variable中创建的键名称为 notebook_task_params ,其值为json。
{
'new_cluster': {
'spark_version': '2.1.0-db3-scala2.11','node_type_id': 'r3.xlarge','aws_attributes': {
'availability': 'ON_DEMAND'
},'num_workers': 8
},'notebook_task': {
'notebook_path': '/Users/airflow@example.com/PrepareData',},}
DatabricksSubmitRunOperator期望参数 json 为json格式,但是从模板中获取时,它以 String 的形式获取。是否可以反序列化模板响应到json。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。