Computer >> 컴퓨터 >  >> 프로그래밍 >> Python

Boto3로 AWS Glue Data Catalog에서 워크플로 삭제하는 방법 (Python 예제 코드 포함)

AWS Data Catalog(Glue)에 등록된 워크플로(Workflow)를 더 이상 사용하지 않을 때는 boto3 라이브러리를 이용해 손쉽게 삭제할 수 있습니다. 이 글에서는 Python과 boto3를 사용해 AWS 계정에 존재하는 워크플로를 삭제하는 방법을 단계별로 살펴보겠습니다.

예제 시나리오

목표 – 계정에서 test라는 이름의 워크플로를 삭제합니다.

문제 정의 – Python의 boto3 라이브러리를 사용하여 계정에 등록되어 있는 특정 워크플로를 삭제하는 함수를 작성합니다.

문제 해결 접근 방식

1단계 – boto3와 botocore의 예외 처리 모듈(ClientError)을 임포트합니다.

2단계 – 삭제할 워크플로의 이름을 나타내는 workflow_name 매개변수를 전달받습니다.

3단계 – boto3 라이브러리로 AWS 세션을 생성합니다. 기본 프로필(default profile)에 region_name이 설정되어 있지 않다면, 세션 생성 시 명시적으로 region_name을 지정해야 합니다.

4단계 – Glue 서비스를 위한 AWS 클라이언트 객체를 생성합니다.

5단계 – delete_workflow 함수를 호출하고, 워크플로 이름을 Name 파라미터로 전달합니다.

6단계 – 워크플로가 성공적으로 삭제되면 응답 메타데이터(ResponseMetadata)가 반환됩니다. 참고로, 지정한 워크플로가 AWS Data Catalog에 존재하지 않더라도 별도의 예외는 발생하지 않습니다.

7단계 – 작업 수행 중 오류가 발생할 경우를 대비해 일반 예외(generic exception)도 함께 처리합니다.

전체 코드 예제

아래 코드를 사용하면 계정에 등록된 워크플로를 삭제할 수 있습니다.

import boto3
from botocore.exceptions import ClientError

def delete_a_workflow(workflow_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.delete_workflow(Name=workflow_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in delete_a_workflow: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in delete_a_workflow: " + e.__str__())

print(delete_a_workflow("test"))

실행 결과

{'Name': 'test', 'ResponseMetadata': {'RequestId': '…………..-…………………….-59a9bc817e0f', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 21 Feb 2021 05:37:11 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '35', 'connection': 'keep-alive', 'x-amzn-requestid': …………………….-59a9bc817e0f'}, 'RetryAttempts': 0}}

코드 설명 및 참고 사항

위 코드는 다음과 같은 흐름으로 동작합니다.

  • boto3.session.Session()으로 AWS 세션을 만들고, session.client('glue')를 통해 Glue 클라이언트를 생성합니다.
  • delete_workflow API 호출이 성공하면 HTTP 상태 코드 200과 함께 요청 ID(RequestId) 등의 메타데이터가 반환됩니다.
  • AWS 쪽 오류는 ClientError로, 그 외 예기치 못한 오류는 일반 Exception으로 구분하여 처리하므로 문제 원인을 쉽게 파악할 수 있습니다.

또한 삭제하려는 워크플로가 존재하지 않아도 에러가 발생하지 않으므로, 멱등성(idempotent) 관점에서 반복 실행해도 안전합니다. 실제 운영 환경에서는 IAM 권한(glue:DeleteWorkflow)이 설정되어 있는지 사전에 확인하는 것이 좋습니다.