如何解决为什么Airflow在日志中不显示python错误?
我正在尝试通过http请求恢复数据,然后插入postgres。 我已经尝试过使用开发数据来运行它,但是它可以正常工作,但是当我切换到生产环境时,它会在15分钟后掉入错误,但是日志中没有显示任何错误。
测试数据为5MB 开发数据为90MB
在我本地的python作品中,我用jupyter进行了尝试。
请求代码为:
URL = ti.xcom_pull(key='url',task_ids='settings')
data_row = requests.get(url = URL)
data_text = data_row.text
data_clean = data_text.replace( "'",'"' )
my_data = {
'entity':'LOCATION','data': data_clean
}
dataframe = pd.DataFrame(my_data,index=[0])
气流记录为:
*** Reading remote log from gs://.../load_Location/2020-08-12T06:49:53.933780+00:00/3.log.
[2020-08-12 07:40:02,165] {taskinstance.py:656} INFO - Dependencies all met for <TaskInstance: ODS_batch_load.load_Location 2020-08-12T06:49:53.933780+00:00 [queued]>
[2020-08-12 07:40:02,226] {taskinstance.py:656} INFO - Dependencies all met for <TaskInstance: ODS_batch_load.load_Location 2020-08-12T06:49:53.933780+00:00 [queued]>
[2020-08-12 07:40:02,227] {taskinstance.py:867} INFO -
--------------------------------------------------------------------------------
[2020-08-12 07:40:02,227] {taskinstance.py:868} INFO - Starting attempt 3 of 3
[2020-08-12 07:40:02,228] {taskinstance.py:869} INFO -
--------------------------------------------------------------------------------
[2020-08-12 07:40:02,244] {taskinstance.py:888} INFO - Executing <Task(LoadSqlOperator): load_Location> on 2020-08-12T06:49:53.933780+00:00
[2020-08-12 07:40:02,245] {base_task_runner.py:131} INFO - Running on host: airflow-worker-85b4c6c6-rsscd
[2020-08-12 07:40:02,245] {base_task_runner.py:132} INFO - Running: ['airflow','run','ODS_batch_load','load_Location','2020-08-12T06:49:53.933780+00:00','--job_id','4091','--pool','default_pool','--raw','-sd','DAGS_FOLDER/ODS_Batch_Load.py','--cfg_path','/tmp/tmp8432h19m']
并以错误显示而未显示。 我的理论之一是因为数据的大小
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。