Boto3를 사용하여 Glue Job의 존재 여부를 확인하는 방법은 무엇입니까?

문제 설명 − Python에서 boto3 라이브러리를 사용하여 글루 작업이 있는지 여부를 확인합니다. 예를 들어 run_s3_file_job이 AWS 글루에 존재하는지 여부.

이 문제를 해결하기 위한 접근 방식/알고리즘

1단계 − boto3 및 botocore 예외를 가져와 예외를 처리합니다.

2단계 - job_name은 함수의 매개변수입니다.

3단계 − boto3 라이브러리를 사용하여 AWS 세션을 생성합니다. region_name을(를) 확인하십시오. 기본 프로필에 언급되어 있습니다. 언급되지 않은 경우 region_name을 명시적으로 전달합니다. 세션을 만드는 동안.

4단계 − 글루용 AWS 클라이언트를 생성합니다.

5단계 − 이제 get_job을 사용하세요. 함수를 만들고 JobName을 전달합니다. .

6단계 − 작업이 있는 경우 응답에 작업에 대한 모든 세부 정보가 포함되며 그렇지 않으면 예외가 발생합니다.

7단계 − 작업을 확인하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.

예시

다음 코드를 사용하여 글루 작업이 있는지 여부를 확인하십시오 -

import boto3
from botocore.exceptions import ClientError

def check_glue_job_exists(job_name):
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      response = glue_client.get_job(JobName=job_name)
   return response
   except ClientError as e:
      raise Exception( "boto3 client error in check_glue_job_exists: " + e.__str__())
   except Exception as e:
      raise Exception( "Unexpected error in check_glue_job_exists: " + e.__str__())

#To check existing job
print(check_glue_job_exists("run_s3_file_job"))
#Job doesn’t exist
print(check_glue_job_exists("run_s3_file_job_not_exist"))

출력

#To check existing job
{'Job': {'Name': 'run_s3_file_job', 'Description': 'Glue job for the
test', 'Role': 'arn:aws:iam::12345:role/delegated/glue-service-role',
'CreatedOn': datetime.datetime(2021, 02, 10, 15, 7, 3, 638000,
tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 02, 10, 15,
7, 3, 638000, tzinfo=tzlocal()), 'ExecutionProperty':
{'MaxConcurrentRuns': 1}, 'Command': {'Name': 'glueetl',
'ScriptLocation': 's3://test/pipeline.py', 'PythonVersion': '3'},
'DefaultArguments': { '--job-language': 'python', 'Step': '0'},
'MaxRetries': 0, 'AllocatedCapacity': 4, 'Timeout': 2880, 'MaxCapacity':
4.0, 'WorkerType': 'G.1X', 'NumberOfWorkers': 4, 'GlueVersion': '2.0'},
'ResponseMetadata': {'RequestId': 'e3ec9e2c-e75d-4443-bfeafef674fff7e9', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13
Feb 2021 13:20:27 GMT', 'content-type': 'application/x-amz-json-1.1',
'content-length': '1501', 'connection': 'keep-alive', 'x-amznrequestid': 'e3ec9e2c-e75d-4443-bfea-fef674fff7e9'}, 'RetryAttempts':
0}}

#Job doesn’t exist
botocore.errorfactory.EntityNotFoundException: An error occurred
(EntityNotFoundException) when calling the GetJob operation: Job with
name: run_s3_file_job_not_exist not found.