Computer >> 컴퓨터 >  >> 프로그래밍 >> Python

Python Boto3로 AWS Glue의 모든 트리거를 페이지네이션하여 조회하는 방법

문제 상황: Python에서 boto3 라이브러리를 사용하여 본인 계정에 생성된 AWS Glue Data Catalog의 모든 트리거(Trigger)를 페이지네이션을 통해 조회하고 싶습니다.

문제 해결 접근 방식 및 알고리즘

  • 1단계: 예외 처리를 위해 boto3와 botocore.exceptions를 임포트합니다.

  • 2단계: 이 함수에는 max_items, page_size, starting_token이라는 선택적 파라미터가 있습니다.

    • max_items: 반환할 레코드의 총 개수를 의미합니다. 사용 가능한 레코드 수가 max_items보다 많으면, 응답에 페이지네이션을 재개할 수 있는 NextToken이 포함됩니다.

    • page_size: 한 페이지당 표시될 항목 수를 나타냅니다.

    • starting_token: 페이지네이션을 이어가는 데 사용되며, 이전 응답에서 받은 NextToken 값을 활용합니다.

  • 3단계: boto3 라이브러리를 사용해 AWS 세션을 생성합니다. 기본 프로필에 region_name이 설정되어 있어야 하며, 설정되어 있지 않다면 세션 생성 시 region_name을 명시적으로 전달해야 합니다.

  • 4단계: Glue용 AWS 클라이언트를 생성합니다.

  • 5단계: get_triggers API를 사용하여 모든 트리거 정보를 담은 paginator(페이지네이터) 객체를 생성합니다.

  • 6단계: paginate 함수를 호출하면서 PaginationConfig 파라미터에 max_items, page_size, starting_token을 전달합니다.

  • 7단계: max_items와 page_size 설정에 따라 해당 개수만큼의 레코드가 반환됩니다.

  • 8단계: 페이지네이션 과정에서 오류가 발생할 경우 일반 예외(generic exception)를 처리합니다.

예제 코드

아래 코드를 사용하면 사용자 계정에 생성된 모든 트리거를 페이지네이션 방식으로 조회할 수 있습니다.

import boto3
from botocore.exceptions import ClientError


def paginate_through_triggers(max_items=None: int, page_size=None: int, starting_token=None: str):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        paginator = glue_client.get_paginator('get_triggers')
        response = paginator.paginate(
            PaginationConfig={
                'MaxItems': max_items,
                'PageSize': page_size,
                'StartingToken': starting_token}
        )
        return response
    except ClientError as e:
        raise Exception("boto3 client error in paginate_through_triggers: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in paginate_through_triggers: " + e.__str__())


page_itr = paginate_through_triggers(max_items=2, page_size=5)
for page in page_itr:
    print(page['Triggers'])

출력 결과

위 코드를 실행하면 다음과 같이 트리거 목록이 출력됩니다.

[{'Name': 'file-passed', 'WorkflowName': 'data-tx', 'Type': 'CONDITIONAL', 'State': 'ACTIVATED', 'Actions': [{'JobName': 'data-event'}], 'Predicate': {'Logical': 'ANY', 'Conditions': [{'LogicalOperator': 'EQUALS', 'JobName': 'data-worker', 'State': 'SUCCEEDED'}]}},
{'Name': 'file-passed-to-acc', 'WorkflowName': 'tick-data', 'Type': 'CONDITIONAL', 'State': 'ACTIVATED', 'Actions': [{'JobName': 'tick-data'}], 'Predicate': {'Logical': 'ANY', 'Conditions': [{'LogicalOperator': 'EQUALS', 'JobName': 'tick-data', 'State': 'SUCCEEDED'}]}}]