如何解决使用databricks和apache airflow运行单个python运算符
我在databricks上使用pyspark运行我的ETL。我想使用apache气流，以便可以将我的ETL转换为多个单独的步骤（如气流中的节点），整个DAG都会生成我的最终ETL数据（出于调度和监视的原因）。如果要在本地执行，则可以将我的ETL转换为单个函数，并将它们传递给多个Pythonoperators，从而整个DAG将构成我的最终ETL。但是，当我对the following link进行研究时，我得出的结论是，数据块和气流集成仅提供运行笔记本（或jar）的方式。因此，我的问题是：产生与我所描述的结果类似的结果，这是将我的ETL的每个单独功能/部分放入单独的笔记本（＃节点=＃笔记本）的唯一方法，还是我可以按照上述方式创建可调用的python，但是以某种方式在databricks上运行它？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
