如何使用AWS GlueOperator触发Glue Job

如何解决如何使用AWS GlueOperator触发Glue Job

我的Airflow脚本只有一个任务可以触发粘合作业。我能够创建DAG。下面是我的DAG代码。

from airflow import DAG
from airflow.operators.email_operator import EmailOperator
from airflow.providers.amazon.aws.operators.glue import AwsGlueJobOperator
from datetime import datetime,timedelta


### glue job specific variables
glue_job_name = "my_glue_job"
glue_iam_role = "AWSGlueServiceRole"
region_name = "us-west-2"
email_recipient = "[e-mail]"

default_args = {
    'owner': 'me','start_date': datetime(2020,1,1),'retry_delay': timedelta(minutes=5),'email': email_recipient,'email_on_failure': True
}


with DAG(dag_id = 'glue_af_pipeline',default_args = default_args,schedule_interval = None) as dag:
    
    glue_job_step = AwsGlueJobOperator(
        job_name =glue_job_name,script_location = 's3://my-s3-location',region_name = region_name,iam_role_name = glue_iam_role,script_args=None,num_of_dpus=10,task_id = 'glue_job_step',dag = dag
        )
   
    glue_job_step

当我运行DAG时，它失败并给出以下错误：

[2020-10-13 08：27：14,315] {logging_mixin.py:112}信息-[2020-10-13 08：27：14,315] {glue.py:114}错误-无法运行AWS胶粘作业，错误： 参数验证失败：参数参数的类型无效， 值：[]，类型：，有效类型： [2020-10-13 08：27：14,315] {taskinstance.py:1058}错误-参数 验证失败：参数参数的类型无效，值：[]， 类型：，有效类型：追溯（大多数 最近通话结束）：文件 “ /usr/local/lib/python3.8/site-packages/airflow/models/taskinstance.py”， 第930行，在_run_raw_task中 结果= task_copy.execute（context = context）文件“ /usr/local/lib/python3.8/site-packages/airflow/providers/amazon/aws/operators/glue.py”， 执行中的第115行 gum_job_run = gum_job.initialize_job（self.script_args）文件“ /usr/local/lib/python3.8/site-packages/airflow/providers/amazon/aws/hooks/glue.py”， 第111行，在initialize_job中 job_run =胶客户端.start_job_run（JobName =作业名称，参数= script_arguments）文件 “ /usr/local/lib/python3.8/site-packages/botocore/client.py”，第337行 在_api_call中 返回self._make_api_call（operation_name，kwargs）文件“ /usr/local/lib/python3.8/site-packages/botocore/client.py”，行628， 在_make_api_call中 request_dict = self._convert_to_request_dict（文件“ /usr/local/lib/python3.8/site-packages/botocore/client.py”，第676行， 在_convert_to_request_dict中 request_dict = self._serializer.serialize_to_request（文件“ /usr/local/lib/python3.8/site-packages/botocore/validate.py”，行 297，在serialize_to_request中 引发ParamValidationError（report = report.generate_report（））botocore.exceptions.ParamValidationError：参数验证失败： 参数参数的类型无效，值：[]，类型：， 有效类型： [2020-10-13 08：27：14,316] {taskinstance.py:1089}信息-将任务标记为“失败”。

任何建议表示赞赏。

解决方法

如果您正在运行现有的 GlueJob，请试试这个，

glue_job_step = AwsGlueJobOperator(
        task_id = "glue_job_step",job_name = glue_job_name,job_desc = f"triggering glue job {glue_job_name}",region_name = region_name,iam_role_name = glue_iam_role,num_of_dpus = 1,dag = dag
        )

如果没有输入参数，则删除 script_args。