이 글에서는 Python의 boto3 라이브러리를 사용하여 AWS 계정에 등록된 작업(Job)의 북마크(bookmark)를 초기화(재설정)하는 방법을 알아보겠습니다.
예제 시나리오
AWS Glue Data Catalog에 등록된 작업의 북마크를 초기화하는 것이 목표입니다.
문제 정의: Python에서 boto3 라이브러리를 활용해 특정 작업의 북마크를 재설정합니다.
문제 해결 접근 방식
1단계: 예외 처리를 위해 boto3와 botocore.exceptions를 임포트합니다.
2단계: 함수의 매개변수로 job_name(작업 이름)을 받습니다.
3단계: boto3를 사용해 AWS 세션을 생성합니다. 기본 프로필에 region_name이 설정되어 있지 않다면, 세션 생성 시 명시적으로 리전 이름을 전달해야 합니다.
4단계: Glue 서비스를 위한 AWS 클라이언트를 생성합니다.
5단계: reset_job_bookmark 함수를 호출하고, 매개변수 job_name을 JobName으로 전달합니다.
6단계: 이 함수는 작업 북마크 항목(Job Bookmark Entry)의 세부 정보를 담은 딕셔너리를 반환합니다.
7단계: 북마크 재설정 중 문제가 발생할 경우 일반 예외(generic exception)를 처리합니다.
예제 코드
아래 코드는 작업의 북마크를 초기화하는 방법을 보여줍니다.
import boto3
from botocore.exceptions import ClientError
def reset_bookmark_of_a_job(job_name):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
response = glue_client.reset_job_bookmark(JobName=job_name)
return response
except ClientError as e:
raise Exception("boto3 client error in reset_bookmark_of_a_job: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in reset_bookmark_of_a_job: " + e.__str__())
print(reset_bookmark_of_a_job("test_job"))실행 결과
{'JobBookmarkEntry':
{'JobName': 'test-job', 'Version': 3, 'Run': 3, 'Attempt': 0, 'JobBookmark': ''},
'ResponseMetadata': {'RequestId': '03d40d90-******************f', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Mar 2021 10:14:58 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '104', 'connection': 'keep-alive', 'x-amzn-requestid': '03d40d90-***************************f'}, 'RetryAttempts': 0}}코드 설명
reset_job_bookmark: AWS Glue의 이 API는 지정한 작업의 북마크 상태를 초기화하여, 다음 실행 시 처음부터 데이터를 다시 처리하도록 만듭니다.
JobBookmarkEntry: 응답에는 작업 이름, 버전(Version), 실행 횟수(Run), 시도 횟수(Attempt) 등 북마크 항목의 메타데이터가 포함됩니다.
ClientError 처리: 잘못된 작업 이름이나 권한 부족 등 AWS 측 오류를 별도로 구분하여 처리하므로, 디버깅 시 원인 파악이 쉬워집니다.
이처럼 boto3의 Glue 클라이언트를 활용하면 몇 줄의 코드만으로도 작업 북마크를 손쉽게 초기화할 수 있습니다. 북마크 초기화는 데이터 소스의 변경 사항을 처음부터 다시 반영하고 싶을 때 유용하게 사용됩니다.