Python에서 Boto3 라이브러리를 사용하여 Glue 작업을 실행하는 방법은 무엇입니까?

문제 설명 − Python에서 boto3 라이브러리를 사용하여 글루 작업을 실행합니다. 예를 들어 run_s3_file_job 작업을 실행합니다.

이 문제를 해결하기 위한 접근 방식/알고리즘

1단계 − boto3 및 botocore 예외를 가져와 예외를 처리합니다.

2단계 - job_name은 필수 매개변수이고 arguments는 함수의 선택적 매개변수입니다. 소수의 작업은 실행하기 위해 인수를 사용합니다. 이 경우 인수를 dict로 전달할 수 있습니다.

예:arguments ={'arguments1' ='value1', 'arguments2' ='value2'}

작업에 인수가 없으면 job_name을 전달하면 됩니다.

3단계 − boto3 라이브러리를 사용하여 AWS 세션을 생성합니다. region_name이 기본 프로필에 언급되어 있는지 확인하십시오. 언급되지 않은 경우 세션을 생성하는 동안 region_name을 명시적으로 전달하십시오.

4단계 − 글루용 AWS 클라이언트를 생성합니다.

5단계 − 이제 start_job_run 함수를 사용하고 필요한 경우 JobName과 인수를 전달합니다.

6단계 − 작업이 시작되면 작업의 메타데이터와 함께 job_run_id를 제공합니다.

7단계 − 작업을 확인하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.

예시

다음 코드를 사용하여 기존 글루 작업을 실행하십시오 -

import boto3
from botocore.exceptions import ClientError

def run_glue_job(job_name, arguments = {}):
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
   return job_run_id
   except ClientError as e:
      raise Exception( "boto3 client error in run_glue_job: " + e.__str__())
   except Exception as e:
      raise Exception( "Unexpected error in run_glue_job: " + e.__str__())

print(run_glue_job("run_s3_file_job"))

출력

{'JobRunId':
'jr_5f8136286322ce5b7d0387e28df6742abc6f5e6892751431692ffd717f45fc00',
'ResponseMetadata': {'RequestId': '36c48542-a060-468b-83ccb067a540bc3c', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13
Feb 2021 13:36:50 GMT', 'content-type': 'application/x-amz-json-1.1',
'content-length': '82', 'connection': 'keep-alive', 'x-amzn-requestid':
'36c48542-a060-468b-83cc-b067a540bc3c'}, 'RetryAttempts': 0}}