Computer >> 컴퓨터 >  >> 프로그램 작성 >> Python

Tensorflow를 사용하여 Python을 사용하여 Illiad 데이터 세트를 로드하는 방법은 무엇입니까?

<시간/>

Tensorflow는 Google에서 제공하는 기계 학습 프레임워크입니다. 알고리즘, 딥 러닝 애플리케이션 등을 구현하기 위해 Python과 함께 사용되는 오픈 소스 프레임워크입니다. 연구 및 생산 목적으로 사용됩니다.

Tensor는 TensorFlow에서 사용되는 데이터 구조입니다. 흐름도에서 가장자리를 연결하는 데 도움이 됩니다. 이 흐름도를 '데이터 흐름 그래프'라고 합니다. 텐서는 다차원 배열 또는 목록에 불과합니다.

세 가지 주요 속성을 사용하여 식별할 수 있습니다.

  • 순위 - 텐서의 차원에 대해 알려줍니다. 텐서의 순서 또는 정의된 텐서의 차원 수로 이해할 수 있습니다.

  • 유형 - Tensor의 요소와 관련된 데이터 유형에 대해 알려줍니다. 1차원, 2차원 또는 n차원 텐서일 수 있습니다.

  • 모양 - 행과 열의 개수입니다.

William Cowper, Edward(Earl of Derby), Samuel Butler의 세 번역 작업에 대한 텍스트 데이터가 포함된 Illiad의 데이터 세트를 사용할 것입니다. 모델은 한 줄의 텍스트가 제공될 때 번역자를 식별하도록 훈련됩니다. 사용된 텍스트 파일은 전처리되었습니다. 여기에는 문서 머리글 및 바닥글, 줄 번호 및 장 제목 제거가 포함됩니다.

Google Colaboratory를 사용하여 아래 코드를 실행하고 있습니다. Google Colab 또는 Colaboratory는 브라우저를 통해 Python 코드를 실행하는 데 도움이 되며 구성이 필요 없고 GPU(그래픽 처리 장치)에 대한 무료 액세스가 필요합니다. Colaboratory는 Jupyter Notebook을 기반으로 구축되었습니다.

예시

다음은 코드 조각입니다 -

def labeler(example, index):
   return example, tf.cast(index, tf.int64)
print(“An empty list has been created”)
labeled_data_sets = []
print(“Iterate through the file names and create a dataset from text file using ‘TextLineDataset’
method”)
for i, file_name in enumerate(FILE_NAMES):
   lines_dataset = tf.data.TextLineDataset(str(parent_dir/file_name))
   labeled_dataset = lines_dataset.map(lambda ex: labeler(ex, i))
   labeled_data_sets.append(labeled_dataset)

코드 크레딧 - https://www.tensorflow.org/tutorials/load_data/text

출력

An empty list has been created
Iterate through the file names and create a dataset from text file using ‘TextLineDataset’ method

설명

  • 텍스트 파일에서 tf.data.A 데이터 세트를 생성하는 'TextLineDataset'이 사용됩니다.

  • 모든 예는 원본 파일의 텍스트 줄입니다.

  • 'text_dataset_from_directory'는 파일의 내용을 하나의 예로 취급합니다.

  • TextLineDataset은 라인 기반의 텍스트 데이터로 작업할 때 유용합니다.

  • 이 파일을 반복하고 모든 행을 자체 데이터세트에 로드합니다.

  • 모든 예제는 개별적으로 레이블이 지정되어야 하므로 'tf.data.Dataset.map'을 사용하여 모든 행에 레이블러 기능을 적용합니다.

  • 이것은 데이터세트의 모든 예를 반복하고 (예시, 레이블) 쌍을 출력으로 반환합니다.