문제 설명 − Python에서 boto3 라이브러리를 사용하여 글루 작업을 실행하고 성공 또는 실패 상태를 가져옵니다. 예를 들어 run_s3_file_job 작업을 실행합니다. 상태를 확인합니다.
이 문제를 해결하기 위한 접근 방식/알고리즘
1단계 − boto3 및 botocore 예외를 가져와 예외를 처리합니다.
2단계 - 직업_이름 는 필수 매개변수이고 인수는 함수의 선택적 매개변수입니다. 소수의 작업은 실행에 인수를 사용합니다. 이 경우 인수를 dict로 전달할 수 있습니다.
예:arguments ={'arguments1' ='value1', 'arguments2' ='value2'}
작업에 인수가 없으면 job_name을 전달하면 됩니다.
3단계 − boto3 라이브러리를 사용하여 AWS 세션을 생성합니다. region_name이 기본 프로필에 언급되어 있는지 확인하십시오. 언급되지 않은 경우 세션을 생성하는 동안 region_name을 명시적으로 전달하십시오.
4단계 − 글루용 AWS 클라이언트를 생성합니다.
5단계 − 이제 start_job_run 함수를 사용하고 필요한 경우 JobName과 인수를 전달합니다.
6단계 − 작업이 시작되면 job_run_id를 제공합니다. 작업의 메타데이터와 함께.
7단계 − get_job_run 기능 사용 매개변수 RunId 전달 이전 함수의 결과에서. 상태에 대한 사전을 반환합니다.
8단계 − 이제 작업의 특정 상태를 가져옵니다. 작업이 완료되지 않은 경우 상태가 Running일 수 있습니다. 그렇지 않으면 SUCCEEDED/FAILED입니다.
9단계 − 작업을 확인하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.
예
다음 코드를 사용하여 기존 글루 작업의 상태를 실행하고 가져옵니다. -
import boto3
from botocore.exceptions import ClientError
def run_glue_job_get_status(job_name, arguments = {}):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
status_detail = glue_client.get_job_run(JobName=job_name, RunId = job_run_id.get("JobRunId"))
status = status_detail.get("JobRun").get("JobRunState")
return status
except ClientError as e:
raise Exception( "boto3 client error in run_glue_job_get_status: " + e.__str__())
except Exception as e:
raise Exception( "Unexpected error in run_glue_job_get_status: " + e.__str__())
#Get status 1st time
print(run_glue_job_get_status("run_s3_file_job"))
#Get status 2nd time after waiting
time.sleep(10)
print(run_glue_job_get_status("run_s3_file_job")) 출력
##Get status 1st time Running #Get status 2nd time after waiting SUCCEEDED