Computer >> 컴퓨터 >  >> 프로그래밍 >> Python

Python Boto3로 AWS Glue의 모든 데이터베이스를 페이지네이션하는 방법

이 글에서는 boto3 라이브러리를 사용하여 AWS Glue Data Catalog에 존재하는 모든 데이터베이스를 페이지네이션(페이지 매김) 방식으로 조회하는 방법을 알아봅니다.

문제 상황

문제 정의: Python의 boto3 라이브러리를 사용하여 본인 계정에 생성된 AWS Glue Data Catalog의 모든 데이터베이스를 페이지네이션으로 조회해야 합니다.

해결 접근 방식 및 알고리즘

  • 1단계: 예외 처리를 위해 boto3와 botocore 예외 모듈을 임포트합니다.

  • 2단계: 이 함수에는 max_items, page_size, starting_token 세 가지 파라미터가 사용됩니다.

    • max_items: 반환할 레코드의 총 개수를 의미합니다. 사용 가능한 레코드 수가 max_items보다 많으면, 응답에 NextToken이 포함되어 페이지네이션을 이어갈 수 있습니다.

    • page_size: 각 페이지의 크기를 나타냅니다.

    • starting_token: 페이지네이션을 시작하는 데 도움을 주며, 이전 응답에서 받은 NextToken을 사용합니다.

  • 3단계: boto3 라이브러리를 사용하여 AWS 세션을 생성합니다. 기본 프로필에 region_name이 설정되어 있는지 확인하고, 설정되어 있지 않다면 세션 생성 시 명시적으로 region_name을 전달해야 합니다.

  • 4단계: Glue용 AWS 클라이언트를 생성합니다.

  • 5단계: get_databases를 사용하여 모든 데이터베이스 정보를 담는 paginator(페이지네이터) 객체를 생성합니다.

  • 6단계: paginate 함수를 호출하면서 PaginationConfig에 max_items, page_size, starting_token을 전달합니다.

  • 7단계: max_size와 page_size 설정에 따라 해당 개수만큼의 레코드가 반환됩니다.

  • 8단계: 페이지네이션 중 문제가 발생할 경우 일반 예외(generic exception)를 처리합니다.

예제 코드

다음 코드를 사용하여 계정에 생성된 모든 데이터베이스를 페이지네이션으로 조회할 수 있습니다.

import boto3
from botocore.exceptions import ClientError

def paginate_through_databases(max_items=None:int,page_size=None:int, starting_token=None:string):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        paginator = glue_client.get_paginator('get_databases')
        response = paginator.paginate(PaginationConfig={
            'MaxItems':max_items,
            'PageSize':page_size,
            'StartingToken':starting_token}
        )
        return response
    except ClientError as e:
        raise Exception("boto3 client error in paginate_through_databases: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in paginate_through_databases: " + e.__str__())
a = paginate_through_databases(2,5)
print(*a)

실행 결과

{'DatabaseList': [
{'Name': 'aurora_glue_catalog', 'CreateTime': datetime.datetime(2020, 11, 18, 14, 24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30, 9, tzinfo=tzlocal())}],
'NextToken': 'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicyI6ImRldjEtZnJlYV9lZGxfZ2x1ZV9kYXRhYmFzZSJ9fSwiZXhwaXJhdGlvbiI6eyJzZWNvbmRzIjoxNjE3NDUwNDQxLCJuYW5vcyI6ODcwMDAwMDB9LCJzaGFyZWRDb250ZXh0IjpmYWxzZSwidGFnQ29udGV4dCI6ZmFsc2V9',
'ResponseMetadata': {'RequestId': '3e1c4f54-d573-4ba9-9948-832273ecca02', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 11:47:21 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '1617', 'connection': 'keep-alive', 'x-amzn-requestid': '3e1c4f54-d573-4ba9-9948-832273ecca02'}, 'RetryAttempts': 0}}