Boto3로 AWS Glue 데이터 카탈로그의 크롤러 삭제하기

문제 개요

Python의 boto3 라이브러리를 사용하여 본인 AWS 계정에 생성된 크롤러(Crawler)를 삭제하는 방법을 알아보겠습니다.

예시 – 계정에 생성된 'Portfolio'라는 이름의 크롤러를 삭제합니다.

해결 접근 방식 및 알고리즘

1단계 – boto3와 botocore 예외 처리 모듈을 임포트하여 예외 상황에 대비합니다.

2단계 – AWS Glue 카탈로그에서 삭제할 크롤러 이름(crawler_name)을 매개변수로 전달합니다.

3단계 – boto3 라이브러리로 AWS 세션을 생성합니다. 기본 프로필에 region_name이 설정되어 있는지 확인하고, 설정되어 있지 않다면 세션 생성 시 명시적으로 region_name을 지정해야 합니다.

4단계 – Glue 서비스를 위한 AWS 클라이언트를 생성합니다.

5단계 – delete_crawler 함수를 호출하면서 crawler_name을 Name 매개변수로 전달합니다.

6단계 – 크롤러가 삭제되고 응답 메타데이터(ResponseMetadata)가 반환됩니다.

7단계 – 작업 처리 중 오류가 발생할 경우 일반 예외(generic exception)를 처리합니다.

예제 코드

다음 코드를 사용하여 AWS Glue 데이터 카탈로그에서 크롤러를 삭제할 수 있습니다.

import boto3
from botocore.exceptions import ClientError

def delete_a_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.delete_crawler(Name=crawler_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in delete_a_crawler: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in delete_a_crawler: " + e.__str__())

print(delete_a_crawler("Portfolio"))

실행 결과

{'ResponseMetadata': {'RequestId': '067b667f-0a74d4f30a5b',
'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021
14:54:30 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '067b667f0a10-4f99-91be-0a74d4f30a5b'}, 'RetryAttempts': 0}}

코드 설명

위 코드가 정상적으로 실행되면 HTTP 상태 코드 200과 함께 응답 메타데이터가 반환되며, 이는 크롤러가 성공적으로 삭제되었음을 의미합니다. ClientError를 별도로 처리함으로써 AWS API 호출 과정에서 발생하는 오류(예: 존재하지 않는 크롤러 이름, 권한 부족 등)와 그 외 예기치 못한 오류를 구분하여 더 명확한 디버깅이 가능합니다.