PolyBase를 통한 통합 데이터 플랫폼 및 데이터 가상화:2부

PolyBase 시리즈를 통한 UDP 데이터 가상화의 1부에서는 PolyBase를 소개하고 이 데모의 전제 조건을 제공했습니다. 이 마지막 기사에서는 데모를 자세히 살펴볼 수 있습니다.

데모:Azure blob에서 데이터를 가져오도록 SQL Polybase를 설정하는 단계

데모를 수행하려면 다음 단계를 수행하십시오.

1. Blob에 있는 외부 텍스트 파일에 액세스하도록 SQL Server® 설정

SQL Server가 Azure® Blob에 있는 외부 텍스트 파일에 액세스할 수 있도록 하려면 다음 쿼리를 실행하세요.

EXEC sp_configure @configname ='hadoop 연결', @configvalue =7;Go

그림 1

2. SQL Server 데이터베이스, 데이터베이스 마스터 키 및 자격 증명 설정

이제 기존 데이터베이스를 사용하거나 새 데이터베이스를 만들어야 합니다. PolybaseTestDB라는 새 이름을 만들었습니다. 이 데모를 위해.

DB가 있으면 다음 쿼리를 사용하여 데이터베이스 마스터 키와 자격 증명을 만듭니다.

 암호로 마스터 키 암호화 생성 ='3452'; polybasetestdbgocreate 데이터베이스 스코어링 된 자격 증명 [polybasecred] withidentity =‘polybaseaccount’, incret ='qdfavobn+yr2rhn796gxftpffffffh3jdatspi0rnwcmmeppippi0rnwcmmeppippi0rnwcwcmp.9ipphpgepspI  
 앞의 쿼리에서 SECRET 이전에 만든 스토리지 계정의 액세스 키입니다. 다음 단계를 수행하여 얻을 수 있습니다.
  Azure Portal -> 스토리지 계정으로 이동합니다. .
 저장소 계정을 클릭합니다.
 왼쪽 창에서 액세스 키를 선택합니다. .
 키가 오른쪽 창에 표시됩니다.
 이전 쿼리에서 복사하여 사용합니다.
 
 
 3. 생성한 자격 증명을 사용하여 외부 데이터 소스 생성
 
 다음 쿼리를 실행하여 외부 데이터 원본을 만듭니다. 생성 후 DB 외부 리소스에서 외부 데이터 소스를 찾을 수 있습니다.
 외부 데이터 소스 생성 AzureStorageWITH(유형 =HADOOP, 위치 ='wasbs://[email protected]', CREDENTIAL =[Polybasecred]), 
  
 그림 2 
 
 참고: Azure Storage Blob은 HDFS(Hadoop® DistributedFile System) API를 기반으로 구축된 확장이므로 TYPE 앞의 쿼리에서 Hadoop .
 
 4. 외부 파일 형식 만들기
 
 다음 쿼리를 실행하십시오.
 CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (FORMAT_TYPE =DELIMITEDTEXT,FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT =TRUE))  
  
 그림 3 
 
 
 참고 :쉼표로 구분된 텍스트 파일이므로 FIELD_TERMINATOR ','입니다. .
 
 5. 외부 테이블 만들기
 
 다음 쿼리를 실행하십시오.
 CREATE EXTERNAL TABLE dbo.SQLPolybaseTable ( [이름] varchar(500), [주제] varchar(500), [교육] varchar(500))WITH ( LOCATION='/Data.txt', 이것은 컨테이너에 업로드된 파일의 이름 DATA_SOURCE=AzureStorage, 이전 단계에서 만든 데이터 원본 FILE_FORMAT=TextFileFormat 이전 단계에서 만든 파일 형식 이름); 
  
 그림 4 
 
 6. 외부 테이블 쿼리
 
 SQL Server의 다른 테이블과 마찬가지로 외부 테이블을 쿼리합니다. 결과는 PolyBase가 외부 데이터를 가져오는 데 도움이 되는지 확인합니다. 다음 쿼리를 실행하십시오.
 에서 * 선택 
  
 그림 5 
 
 결론
 
 향후 게시물에서 다음 개념을 심층적으로 탐구할 계획입니다.
  Columnar 스토어를 통한 데이터 마트
 HDFS를 통한 Data Lake
 빅데이터, ML, Apache Spark를 통한 스트리밍
 
 
 또한 이 데모 중에 몇 가지 문제가 발생했기 때문에 이러한 경험을 통합하여 다음 블로그에 소개하고 싶습니다.
 
 계속 지켜봐 주세요!
 
 데이터 서비스에 대해 자세히 알아보세요.
 
 피드백 탭을 사용하여 의견을 작성하거나 질문하십시오. 저희와 대화를 시작할 수도 있습니다.