이 글에서는 Python의 boto3 라이브러리를 사용해 AWS Glue에 등록된 모든 작업(Job)을 페이지네이션 방식으로 조회하는 방법을 살펴봅니다.
예제 개요
문제 정의: 내 계정에 생성된 AWS Glue Data Catalog의 작업 목록을 boto3 라이브러리를 이용해 페이지 단위로 조회합니다.
해결 접근 방식 및 알고리즘
1단계: 예외 처리를 위해 boto3와 botocore의 예외 클래스를 임포트합니다.
2단계: 이 함수에서 사용할 수 있는 선택적 파라미터는 max_items, page_size, starting_token 세 가지입니다.
max_items: 반환할 레코드의 총 개수입니다. 사용 가능한 레코드 수가 max_items보다 많으면 응답에 NextToken이 포함되어 이후 페이지네이션을 이어갈 수 있습니다.
page_size: 한 페이지당 크기를 의미합니다.
starting_token: 페이지네이션을 재개할 때 사용하며, 이전 응답에서 받은 NextToken 값을 전달합니다.
3단계: boto3 라이브러리로 AWS 세션을 생성합니다. 기본 프로파일에 region_name이 설정되어 있지 않다면 세션 생성 시 리전을 명시적으로 지정해야 합니다.
4단계: Glue 서비스용 AWS 클라이언트를 생성합니다.
5단계: get_jobs API를 기반으로 모든 작업 정보를 담는 paginator 객체를 생성합니다.
6단계: paginate 함수를 호출하고 max_items, page_size, starting_token을 PaginationConfig 파라미터로 전달합니다.
7단계: 설정한 값에 따라 해당 개수만큼의 레코드가 반환됩니다.
8단계: 페이지네이션 도중 오류가 발생하면 일반 예외를 처리합니다.
예제 코드
다음 코드를 사용하면 계정에 생성된 모든 작업을 페이지네이션 방식으로 조회할 수 있습니다.
import boto3
from botocore.exceptions import ClientError
def paginate_through_jobs(max_items=None, page_size=None, starting_token=None):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_jobs')
response = paginator.paginate(
PaginationConfig={
'MaxItems': max_items,
'PageSize': page_size,
'StartingToken': starting_token
}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_jobs: " + str(e))
except Exception as e:
raise Exception("Unexpected error in paginate_through_jobs: " + str(e))
a = paginate_through_jobs(2, 5)
print(*a)
출력 결과
위 코드를 실행하면 MaxItems로 지정한 개수만큼 작업 정보가 반환되며, 아직 조회하지 못한 작업이 더 있다면 응답에 NextToken이 함께 포함됩니다. 이 토큰을 다음 호출 시 StartingToken으로 전달하면 이어서 조회할 수 있습니다.
{'Jobs': [{'Name': 'PythonShellTest1', 'Role': 'arn:aws:iam::7***********:role/dev-edl-glue-role', 'CreatedOn': datetime.datetime(2021, 1, 6, 19, 59, 19, 387000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 2, 9, 21, 47, 31, 614000, tzinfo=tzlocal()), 'ExecutionProperty': {'MaxConcurrentRuns': 1}, 'Command': {'Name': 'pythonshell', 'ScriptLocation': 's3://pythonShellTest/test1/', 'PythonVersion': '3'}, 'DefaultArguments': {'--job-bookmark-option': 'job-bookmark-disable', '--job-language': 'python'}, 'MaxRetries': 0, 'AllocatedCapacity': 0, 'Timeout': 2880, 'MaxCapacity': 0.0625, 'GlueVersion': '1.0'}, {'Name': 'pythonSHELL_14012021', 'Role': 'arn:aws:iam::7*************:role/dev-edl-glue-role', 'CreatedOn': datetime.datetime(2021, 1, 14, 20, 22, 40, 965000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 1, 14, 20, 22, 40, 965000, tzinfo=tzlocal()), 'ExecutionProperty': {'MaxConcurrentRuns': 1}, 'Command': {'Name': 'pythonshell', 'DefaultArguments': {'--job-bookmark-option': 'job-bookmark-disable'}}, 'MaxRetries': 0, 'AllocatedCapacity': 0, 'Timeout': 2880, 'MaxCapacity': 0.0625, 'GlueVersion': '1.0'}],
'NextToken': 'eyJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE2MTc0NTUzOTYsIm5hbm9zIjo1MjUwMDAwMDB9LCJsYXN0RXZhbHVhdGVkS2V5Ijp7ImpvYk5hbWUiOnsicyI6IlRpY2tkYXRhLXBlcmZvcm1hbmNldGVzdC1qZXR0ZWxhIn0sImFjY291bnRJZCI6eyJzIjoiNzgyMjU4NDg1ODQxIn0sImpvYklkIjp7InMiOiJqXzkyZGQ5ZDNhMWRkOGY2NTJkYzA4MzNmMTM0ZTRiNDRhNmE0YzEzNWY0ZTYwZTkwNmYyOTBhY2NiZDZiMWIxZTcifX19',
'ResponseMetadata': {'RequestId': '3be6708e-*************-389', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 13:09:56 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '3182', 'connection': 'keep-alive', 'x-amzn-requestid': '3be6708e-*************-8389'}, 'RetryAttempts': 0}}