Computer >> 컴퓨터 >  >> 프로그래밍 >> Python

Boto3를 사용해 AWS 계정의 워크플로 목록을 조회하는 방법

이 글에서는 Python의 boto3 라이브러리를 활용하여 AWS 계정에 등록된 모든 워크플로(Workflow) 목록을 조회하는 방법을 알아보겠습니다.

예제 개요

문제 정의: AWS Glue Data Catalog에 존재하는 전체 워크플로 목록을 가져와야 합니다.

이를 위해 Python에서 boto3 라이브러리를 사용하여 AWS Glue 서비스에 접근하고, 워크플로 리스트를 반환받는 함수를 작성합니다.

해결 접근 방식 및 알고리즘

  • 1단계: 예외 처리를 위해 boto3 모듈과 botocore.exceptions의 ClientError를 임포트합니다.

  • 2단계: list_workflows 함수는 별도의 파라미터가 필요하지 않습니다.

  • 3단계: boto3 라이브러리로 AWS 세션을 생성합니다. 기본 프로필(default profile)에 region_name이 설정되어 있지 않다면, 세션 생성 시 지역명을 명시적으로 전달해야 합니다.

  • 4단계: AWS 세션으로부터 glue 서비스용 클라이언트 객체를 생성합니다.

  • 5단계: 클라이언트의 list_workflows() 함수를 호출합니다.

  • 6단계: 해당 함수는 AWS Glue Data Catalog에 존재하는 모든 워크플로 이름 목록을 딕셔너리 형태로 반환하며, 워크플로가 하나도 없으면 빈 결과를 반환합니다.

  • 7단계: 워크플로 조회 과정에서 오류가 발생할 경우를 대비해 일반 예외(generic exception) 처리 로직을 추가합니다.

예제 코드

아래 코드는 AWS 계정 내 모든 워크플로 목록을 가져오는 예시입니다.

import boto3
from botocore.exceptions import ClientError

def list_of_workflows():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        triggers = glue_client.list_workflows()
        return triggers
    except ClientError as e:
        raise Exception("boto3 client error in list_of_workflows: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in list_of_workflows: " + e.__str__())
print(list_of_workflows())

실행 결과

위 코드를 실행하면 다음과 같은 출력 결과를 확인할 수 있습니다.

{'Workflows':
['tick-data-etl', 'test-wf-daily-jobs'],
'ResponseMetadata': {'RequestId': '3824e47a-***************e6d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Mar 2021 09:47:38 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '64', 'connection': 'keep-alive', 'x-amzn-requestid': '3824e47a-********************e6d'}, 'RetryAttempts': 0}}

출력 결과에서 'Workflows' 키에는 계정에 등록된 워크플로 이름들이 리스트로 담겨 있으며, 'ResponseMetadata'에는 HTTP 상태 코드(200)와 요청 ID 등 API 응답 관련 메타데이터가 포함되어 있습니다. HTTP 상태 코드가 200이면 요청이 성공적으로 처리된 것을 의미합니다.