이 기사에서는 AWS 계정에 있는 크롤러의 스케줄러를 업데이트하는 방법을 알아봅니다.
예
문제 설명: boto3 사용 크롤러의 스케줄러를 업데이트하기 위한 Python 라이브러리
이 문제를 해결하기 위한 접근 방식/알고리즘
-
1단계: boto3 가져오기 및 보토코어 예외를 처리하는 예외.
-
2단계: 크롤러 이름 및 스케줄러 이 함수의 필수 매개변수입니다.
-
스케줄러 형식 cron(cron_expression)과 같아야 합니다. Cron_Expression (15 12 * * ? *)로 쓸 수 있습니다. 즉, 크롤러는 매일 12:15UTC에 실행됩니다.
-
3단계: boto3 lib를 사용하여 AWS 세션 생성 . region_name 기본 프로필에 언급되어 있습니다. 언급되지 않은 경우 region_name을 명시적으로 전달합니다. 세션을 만드는 동안.
-
4단계: 글루용 AWS 클라이언트 생성 .
-
5단계: 이제 update_crawler_schedule을 사용하세요. 함수를 만들고 crawler_name 매개변수를 전달합니다. CrawlerName 및 스케줄러로 일정으로.
-
6단계: 응답 메타데이터를 반환하고 크롤러의 일정 상태를 업데이트합니다.
-
7단계: 크롤러의 스케줄러를 업데이트하는 동안 문제가 발생한 경우 일반 예외를 처리합니다.
예시 코드
다음 코드는 크롤러의 스케줄러를 업데이트합니다. -
import boto3
from botocore.exceptions import ClientError
def update_scheduler_of_a_crawler(crawler_name, scheduler)
session = boto3.session.Session()
glue_client = session.client('glue')
try:
response = glue_client.update_crawler_schedule(CrawlerName=crawler_name, Schedule=scheduler)
return response
except ClientError as e:
raise Exception("boto3 client error in update_scheduler_of_a_crawler: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in update_scheduler_of_a_crawler: " + e.__str__())
print(update_scheduler_of_a_crawler("Data Dimension","cron(15 12 * * ? *)")) 출력
{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}