이 글에서는 Python의 boto3 라이브러리를 사용하여 AWS Glue에 등록된 보안 구성(Security Configuration) 목록을 페이지네이션 방식으로 조회하는 방법을 자세히 살펴보겠습니다.
문제 정의
과제: Python의 boto3 라이브러리를 활용하여, 본인의 AWS 계정에 생성된 AWS Glue Data Catalog 내 보안 구성 데이터를 페이지네이션으로 순회하며 조회합니다.
문제 해결 접근 방식 및 알고리즘
1단계: 예외 처리를 위해 boto3와 botocore의 예외 모듈을 임포트합니다.
2단계: 이 함수에는 max_items, page_size, starting_token이라는 선택적 파라미터가 있습니다.
max_items: 반환할 전체 레코드 수를 의미합니다. 사용 가능한 레코드 수가 max_items보다 많으면, 응답에 NextToken이 포함되어 이후 페이지네이션을 이어갈 수 있습니다.
page_size: 한 페이지당 표시될 항목의 크기를 나타냅니다.
starting_token: 페이지네이션을 재개할 때 사용되며, 이전 응답에서 받은 NextToken 값을 전달합니다.
3단계: boto3 라이브러리를 사용해 AWS 세션을 생성합니다. 기본 프로필에 region_name이 설정되어 있는지 확인하고, 설정되어 있지 않다면 세션 생성 시 명시적으로 region_name을 전달해야 합니다.
4단계: glue 서비스를 위한 AWS 클라이언트를 생성합니다.
5단계: get_security_configurations API를 기반으로 모든 보안 구성 정보를 담는 paginator(페이지네이터) 객체를 생성합니다.
6단계: paginate 함수를 호출하면서 max_items, page_size, starting_token을 PaginationConfig 형태로 전달합니다.
7단계: max_size와 page_size 값에 따라 해당 개수만큼의 레코드가 반환됩니다.
8단계: 페이지네이션 과정에서 오류가 발생할 경우 일반 예외(generic exception)를 처리합니다.
예제 코드
아래 코드를 사용하면 사용자 계정에 생성된 모든 보안 구성을 페이지네이션 방식으로 조회할 수 있습니다.
import boto3
from botocore.exceptions import ClientError
def paginate_through_security_configuration(max_items=None:int, page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_security_configuration')
response = paginator.paginate(PaginationConfig={
'MaxItems': max_items,
'PageSize': page_size,
'StartingToken': starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_security_configuration: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_security_configuration: " + e.__str__())
a = paginate_through_security_configuration(2, 5)
print(*a)실행 결과
{'SecurityConfigurations': [
{'Name': 'test-sc', 'CreatedTimeStamp': datetime.datetime(2020, 9, 24, 1, 53, 21, 265000, tzinfo=tzlocal()), 'EncryptionConfiguration': {'S3Encryption': [{'S3EncryptionMode': 'SSE-KMS', 'KmsKeyArn': 'arn:aws:kms:us-east-1:*************:key/***************'}]}},
{'Name': 'port-sc', 'CreatedTimeStamp': datetime.datetime(2020, 11, 6, 0, 38, 3, 753000, tzinfo=tzlocal()), 'EncryptionConfiguration': {'S3Encryption': [{'S3EncryptionMode': 'SSE-KMS', 'KmsKeyArn': 'arn:aws:kms:us-east-1:********:key/***************'}]}}],
'NextToken': '',
'ResponseMetadata': {'RequestId': **********, 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 13:19:57 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '826', 'connection': 'keep-alive', 'x-amzn-requestid': *********}, 'RetryAttempts': 0}}정리
boto3의 Paginator 기능을 활용하면 대량의 보안 구성 데이터도 안정적이고 효율적으로 조회할 수 있습니다. 특히 MaxItems와 PageSize를 조절해 원하는 만큼의 데이터를 가져오고, NextToken을 활용하면 다음 페이지를 손쉽게 이어서 조회할 수 있다는 점을 기억하세요. 또한 ClientError와 일반 Exception을 분리 처리하면 오류 원인을 더 명확하게 진단할 수 있습니다.