Computer >> 컴퓨터 >  >> 프로그램 작성 >> Python

Boto3를 사용하여 AWS Glue 데이터 카탈로그에서 하나/다수의 지정된 크롤러의 지표를 가져오는 방법은 무엇입니까?

<시간/>

문제 설명 − Python에서 boto3 라이브러리를 사용하여 지정된 크롤러의 메트릭을 검색합니다.

− 지정된 크롤러, crawler_for_s3_file_job의 메트릭을 검색합니다.

이 문제를 해결하기 위한 접근 방식/알고리즘

1단계 − boto3 및 botocore 예외를 가져와 예외를 처리합니다.

2단계크롤러 이름 필수 매개변수입니다. 사용자가 메트릭을 가져오기 위해 한 번에 하나 이상의 크롤러 이름을 보낼 수 있는 목록입니다.

3단계 − boto3 라이브러리를 사용하여 AWS 세션을 생성합니다. region_name을(를) 확인하십시오. 기본 프로필에 언급되어 있습니다. 언급되지 않은 경우 region_name을 명시적으로 전달합니다. 세션을 만드는 동안.

4단계 − 글루용 AWS 클라이언트를 생성합니다.

5단계 − 이제 get_crawler_metrics를 사용하세요. 기능을 수행하고 crawler_names 및 CrawlerNameList 매개변수를 전달합니다.

6단계 − 크롤러의 메트릭을 반환합니다.

7단계 − 작업을 확인하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.

예시

지정된 크롤러의 메트릭을 검색하려면 다음 코드를 사용하십시오 -

import boto3
from botocore.exceptions import ClientError

def retrieves_metrics_of_a_crawler(crawler_names:list)
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      crawler_details = glue_client.get_crawler_metrics(CrawlerNameList = crawler_names)
      return crawler_details
   except ClientError as e:
      raise Exception("boto3 client error in retrieves_metrics_of_a_crawler: " + e.__str__())
   except Exception as e:
      raise Exception("Unexpected error in retrieves_metrics_of_a_crawler: " + e.__str__())
print(retrieves_metrics_of_a_crawler(["crawler_for_s3_file_job"]))

출력

{'CrawlerMetricsList': [{'CrawlerName': crawler_for_s3_file_job,
'TimeLeftSeconds': 0.0, 'StillEstimating': False, 'LastRuntimeSeconds':
79.673, 'MedianRuntimeSeconds': 79.673, 'TablesCreated': 1,
'TablesUpdated': 0, 'TablesDeleted': 0}], 'ResponseMetadata':
{'RequestId': '680cf4ca-********0abe', 'HTTPStatusCode': 200,
'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 11:38:08 GMT', 'content-type':
'application/x-amz-json-1.1', 'content-length': '216', 'connection':
'keep-alive', 'x-amzn-requestid': '680cf4ca-******************0abe'},
'RetryAttempts': 0}}