Python Boto3로 AWS Glue Data Catalog의 전체 데이터베이스 목록과 상세 정보 조회하기

문제 개요

Python의 boto3 라이브러리를 활용하여 AWS 계정에 등록된 모든 데이터베이스의 정의(Definition)를 한 번에 조회하는 방법을 알아보겠습니다.

예시 시나리오

AWS Glue Data Catalog에 존재하는 전체 데이터베이스의 이름, 생성 시간, 설명, 위치 URI 등의 메타데이터를 가져오고자 합니다.

해결 접근 방식 및 알고리즘

1단계: 예외 처리를 위해 boto3와 botocore.exceptions 모듈을 임포트합니다.

2단계: 이 작업에는 별도의 입력 파라미터가 필요하지 않습니다.

3단계: boto3 라이브러리로 AWS 세션(Session)을 생성합니다. 기본 프로필(default profile)에 region_name이 설정되어 있지 않다면, 세션 생성 시 리전을 명시적으로 지정해야 합니다.

4단계: AWS Glue 서비스를 위한 클라이언트 객체를 생성합니다.

5단계: get_databases() 함수를 호출합니다.

6단계: 해당 함수는 사용자 계정에 존재하는 모든 데이터베이스의 정의 정보를 반환합니다.

7단계: API 호출 과정에서 오류가 발생할 경우, 일반 예외(generic exception)를 처리하여 적절한 에러 메시지를 출력합니다.

구현 코드 예제

아래 코드를 사용하면 모든 데이터베이스의 정의를 손쉽게 조회할 수 있습니다.

import boto3
from botocore.exceptions import ClientError

def retrieves_all_database_details():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_databases()
        return response
    except ClientError as e:
        raise Exception("boto3 client error in retrieves_all_database_details: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in retrieves_all_database_details: " + e.__str__())

print(retrieves_all_database_details())

실행 결과 (Output)

{'DatabaseList': [
{'Name': 'QA-test', 'CreateTime': datetime.datetime(2020, 11, 18, 14,
24, 46, tzinfo=tzlocal())},
{'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30,
9, tzinfo=tzlocal())},
{'Name': 'default', 'Description': 'Default Hive database',
'LocationUri': 'hdfs://ip-************.ec2.internal:****/user/hive/warehouse', 'CreateTime':
datetime.datetime(2018, 5, 25, 16, 4, 54,
tzinfo=tzlocal())},'NextToken':
'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicyI6InN************Mjk3NywibmFub3MiOjIyNTA***********NvbnRleHQiOmZhbHNlfQ==',
'ResponseMetadata': {'RequestId': 'fa0a2069-***********-a0617',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021
12:49:37 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '25749', 'connection': 'keep-alive', 'x-amzn-requestid':
'fa0a2069-************a0617'}, 'RetryAttempts': 0}}

결과 해석

응답 결과의 DatabaseList 키에는 각 데이터베이스의 이름(Name), 생성 시각(CreateTime), 설명(Description), 저장 위치(LocationUri)가 포함됩니다. 또한 데이터베이스 수가 많아 페이지네이션이 필요한 경우 NextToken 값이 함께 반환되며, 이 값을 다음 요청에 전달하면 나머지 데이터베이스 목록을 이어서 조회할 수 있습니다.