Computer >> 컴퓨터 >  >> 프로그램 작성 >> Python

Boto3를 사용하여 AWS 계정에 있는 모든 크롤러 목록을 가져오는 방법

<시간/>

이 기사에서는 사용자가 AWS 계정에 있는 모든 크롤러 목록을 가져오는 방법을 알아봅니다.

예

문제 설명: boto3 사용 모든 크롤러 목록을 가져오려면 Python 라이브러리를 사용하세요.

이 문제를 해결하기 위한 접근 방식/알고리즘

  • 1단계: boto3 가져오기 및 보토코어 예외를 처리하는 예외.

  • 2단계: 이 함수에는 매개변수가 없습니다.

  • 3단계: boto3 lib를 사용하여 AWS 세션 생성 . region_name 기본 프로필에 언급되어 있습니다. 언급되지 않은 경우 region_name을 명시적으로 전달합니다. 세션을 만드는 동안.

  • 4단계: 글루용 AWS 클라이언트 생성 .

  • 5단계: 이제 list_crawlers를 사용하세요.

  • 6단계: AWS Glue 데이터 카탈로그에 있는 모든 크롤러 목록을 반환합니다.

  • 7단계: 작업을 확인하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.

예시 코드

다음 코드는 모든 크롤러 목록을 가져옵니다 -

import boto3
from botocore.exceptions import ClientError

def list_of_crawlers()
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      crawler_details = glue_client.list_crawlers()
      return crawler_details
   except ClientError as e:
      raise Exception("boto3 client error in list_of_crawlers: " + e.__str__())
   except Exception as e:
      raise Exception("Unexpected error in list_of_crawlers: " + e.__str__())
print(list_of_crawlers())

출력

{'CrawlerNames': ['crawler_for_s3_file_job', 'crawler_for_employee_data', 'crawler_for_security_data'], 'ResponseMetadata': {'RequestId': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 14:04:03 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '830', 'connection': 'keep-alive', 'x-amzn-requestid': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d'}, 'RetryAttempts': 0}}