Bash로 기계 학습 모델 만들기

여기에는 GPS 좌표 등의 많은 정보가 포함되어 있지만 스테이션 코드와 상태만 있으면 됩니다. 컷 사용:

$ cut -d' ' -f1,5 us_stations.txt > us_stations.txt.tmp; mv us_stations.txt.tmp us_stations.txt; 

명령 출력의 첫 번째 줄:

$ head us_stations.txt
US009052008 SD
US10RMHS145 CO
US10adam001 NE
US10adam002 NE
...

이것을 CSV로 만들고 sed를 사용하여 공백을 쉼표 구분 기호로 변경하십시오.

$ sed -i s/' '/,/g us_stations.txt 

명령 출력의 첫 번째 줄:

$ head us_stations.txt
US009052008,SD
US10RMHS145,CO
US10adam001,NE
US10adam002,NE
...

이러한 작업에 여러 명령을 사용했지만 한 번의 실행으로 모든 단계를 수행할 수 있습니다. 직접 사용해 보세요.

이제 대용량 데이터 처리에 기능적으로 고성능인 AWK를 사용하여 스테이션 코드를 상태 위치로 교체하십시오.

station_to_state_data.sh

#!/bin/sh

`ls TAVG_US_*.csv`의 DATA_FILE

do
    echo ${DATA_FILE}
    awk -v 파일=$DATA_FILE -F, '
        {
            state_day_sum[$1 "," $2 "," $3 "," $4] =state_day_sum[$1 "," $2 "," $3 "," $4] + $5
            state_day_num[$1 "," $2 "," $3 "," $4] =state_day_num[$1 "," $2 "," $3 "," $4] + 1
        }
        END {
          for (state_day_key in state_day_sum) {
               > ' state_day_key "," state_day_sum[state_day_key]/state_day_num[state_day key]  , $DATA_FILE> STATE_DAY_${DATA_FILE}.tmp
    sort -k1 -k2 -k3 -k4 
 STATE_DAY_$DATA_FILE
    rm -f STATE_DAY_${DATA_FILE}.tmp 
완료

이 매개변수의 의미는 다음과 같습니다.

역 코드가 포함된 CSV:

$ 헤드 TAVG_US_2010.csv
USR0000AALC,2010,01,01,-220
USR0000AALP,2010,01,01,-9
USR0000ABAN2,2010,01,01,1 br />USR0000ABCA,2010,01,01,16
USR0000ABCK,2010,01,01,-309
USR0000ABER,2010,01,01,-81
USR0000ABEV,201 01,-360
USR0000ABEN,2010,01,01,-224
USR0000ABNS,2010,01,01,89
USR0000ABLA,2010,01,01,59

다음 명령을 실행하십시오.

$ ./station_to_state_data.sh
TAVG_US_2010.csv
...
TAVG_US_2019.csv

스테이션은 이제 상태에 매핑됩니다:

$ 헤드 TAVG_US_2010.csv
AK,2010,01,01,-220
AZ,2010,01,01,-9
AL,2010,01,01,12
AK,2010,01,01,16
AK,2010,01,01,-309
AK,2010,01,01,-81
AK,2010,01, 01,-360
AK,2010,01,01,-224
AZ,2010,01,01,59
AK,2010,01,01,-68

모든 주에는 하루에 몇 가지 온도 측정값이 있으므로 각 주의 하루 평균 측정값을 계산해야 합니다. 텍스트 처리에는 AWK를 사용하고, 최종 결과가 논리적 순서로 정렬되도록 정렬하고, 처리 후 임시 파일을 삭제하려면 rm을 사용합니다.

station_to_state_data.sh

PATTERN_FILE=us_stations.txt

`ls TAVG_US_*.csv`의 DATA_FILE용
do
    echo ${DATA_FILE}

    awk - F, \
        'FNR==NR { x[$1]=$2; 다음; } { $1=x[$1]; 인쇄 $0 }' \
        OFS=, \
        ${PATTERN_FILE} ${DATA_FILE}> ${DATA_FILE}.tmp

   mv ${DATA_FILE}.tmp ${DATA_FILE }
완료

AWK 매개변수의 의미는 다음과 같습니다.

스크립트 실행:

$ ./TAVG_avg.sh
TAVG_US_2010.csv
TAVG_US_2011.csv
TAVG_US_2012.csv
TAVG_US_2013.csv
TAVG_US_2014 csv
TAVG_US_2016.csv
TAVG_US_2017.csv
TAVG_US_2018.csv
TAVG_US_2019.csv

다음 파일이 생성됩니다.

$ ls STATE_DAY_TAVG_US_20*.csv
STATE_DAY_TAVG_US_2010.csv  STATE_DAY_TAVG_US_2015.csv
STATE_DAY_TAVG_US_2011.csv  STATE_DAY_TAVG_US_2016.csv
STATE_DAY_TAVG_US_2012.csv  STATE_DAY_TAVG_US_2017.csv
STATE_DAY_TAVG_US_2013.csv  STATE_DAY_TAVG_US_2018.csv
STATE_DAY_TAVG_US_2014.csv  STATE_DAY_TAVG_US_2019.csv

모든 주에 대한 1년 데이터 보기(한 번에 한 페이지씩 출력을 보는 유틸리티는 더 적음):

$ 감소 STATE_DAY_TAVG_US_2010.csv
AK,2010,01,01,-181.934
...
AK,2010,01,31,-101.068
AK,2010 ,02,01,-107.11 
...
AK,2010,02,28,-138.834
...
WY,2010,01,01,-43.5625
...
WY,2010,12,31,-215.583

모든 데이터 파일을 하나로 병합:

$ cat STATE_DAY_TAVG_US_20*.csv > TAVG_US_2010-2019.csv 

이제 모든 연도에 대한 모든 상태가 포함된 하나의 파일이 있습니다.

$ 고양이 TAVG_US_2010-2019.csv
AK,2010,01,01,-181.934
...
WY,2018,12,31,-167.421
AK ,2019,01,01,-32.3386
...
WY,2019,12,30,-131.028
WY,2019,12,31,-79.8704

4. 시계열 데이터 만들기

이와 같은 문제는 순환 신경망(RNN)인 장단기 기억(LSTM)과 같은 시계열 모델로 적절하게 해결됩니다. 이 입력 데이터는 시간 조각으로 구성됩니다. 20일을 한 조각으로 간주하십시오.

이것은 일회성 조각입니다(STATE_DAY_TAVG_US_2010.csv). ):

X(입력 – 20주):
AK,2010,01,01,-181.934
AK,2010,01,02,-199.531
...
 AK,2010,01,20,-157.273

y(21번째 주, 이 20주 동안의 예측):
AK,2010,01,21,-165.31

이 시간 조각은 다음과 같이 표시됩니다(처음 20주가 X이고 21주가 y인 온도 값).

AK, -181.934,-199.531, ...,
-157.273,-165.3

슬라이스는 시간 연속적입니다. 예를 들어 2010년 말은 2011년까지 계속됩니다.

AK,2010,12,22,-209.92
...
AK,2010,12,31,-79.8523
AK,2011,01,01,-59.5658
...
AK,2011,01,10,-100.623

예측 결과: 

AK,2011,01,11,-106.851 

이 시간 조각은 다음과 같습니다.

AK, -209.92, ... ,-79.8523,-59.5658, ... ,-100.623,-106.851 

모든 주, 연도, 월 및 날짜에 대해 등등. 자세한 설명은 시계열 예측에 대한 이 자습서를 참조하세요.

타임 슬라이스를 생성하는 스크립트 작성:

timeslices.sh

#!/bin/sh

TIME_SLICE_PERIOD=20

file=TAVG_US_2010-2019.csv

# 파일의 각 상태에 대해
`cut -d'의 상태용,' -f1 $file | 정렬 | uniq`
do
    # 상태의 모든 온도 값 가져오기
    state_tavgs=`grep $state $file | cut -d',' -f5`
    # 이것이 몇 개의 타임 슬라이스가 될까요?
    # 기록된 온도의 수에서 타임슬라이스의 크기를 뺀 수
    num_slices=`echo $state_tavgs | wc -w`
    num_slices=$((${num_slices} - ${TIME_SLICE_PERIOD}))
    # 초기화
    slice_start=1; num_slice=0;
    # 각 타임슬라이스에 대해
    while [ $num_slice -lt $num_slices ]
    do
        # 하나의 타임슬라이스는 slice_start에서 slice_end까지
        slice_end=$( ($slice_start + $TIME_SLICE_PERIOD - 1))
        # X (1-20)
        sliceX="$slice_start-$slice_end"
        # y (21)
    $     slicey (($slice_end + 1))
        # 상태 및 타임슬라이스 온도 값 인쇄(1-20 및 21열)
        echo $state `echo $state_tavgs | cut -d' ' -f$sliceX,$slicey`
        # 증분 
        slice_start=$(($slice_start + 1)); num_slice=$(($num_slice + 1));
    완료
완료

스크립트를 실행합니다. 공백을 열 구분자로 사용합니다. sed로 쉼표를 만드세요:

$ ./timeslices.sh > TIMESLICE_TAVG_US_2010-2019.csv; sed -i s/' '/,/g TIME_VARIANT_TAVG_US_2010-2019.csv 

다음은 .csv 출력의 처음 몇 줄과 마지막 몇 줄입니다.

$ 헤드 -3 TIME_VARIANT_TAVG_US_2009-2019.csv
AK,-271.271,-290.057,-300.324,-277.603,-270.36,-293.152,-2922.8 ,-158.379,-102.585,-24.9517,-1.7973,15.9597,-5.78231,-33.932,-44.7655,-962.5694,-123.338,-123.338
AK,-73,-292.5694,-123.379 -292.829,-270.413,-256.674,-241.546,-217.757,-158.379,-102.585,-24.9517,-59.39,-2973,15.9597,-5.73.493,-5.73231 AK,-300.324,-277.603,-270.36,-293.152,-292.829,-270.413,-256.674,-241.546,591.546,-391.546,-39.757,-158.379,-158.379,-5102. 44.7655,-92.5694,-123.338,-130.829,-123.979

$꼬리 -3 TIME_VARIANT_TAVG_US_2009-2019.csv
. ,-81.5556,-124.769,-137.556,-90.213,-54.1389,-55.9907,-30.9167,-9.59813,-293,-86916,-1.28259,-13.972>WY,-66.2315,-45.1944,-27.75,-55.3426,-81.5556,-124.769,-137.556,-90.213,-54.1389,-565.9907,-30.915 1.09259,-13.9722,-47.5648,-83.5234,-98.2963,-124.694,-142.898,-131.028
WY,-45.1944,-27.815,-55 54.1389,-55.9907,-30.9167,-9.59813,7.86916,-1.09259,-13.9722,-47.5648,-793.5234,-98.2963,-1984.694 

 이것은 작동하지만 성능이 그다지 좋지 않습니다. 최적화할 수 있습니다. 시도해 볼 수 있습니까? 어떻게 했는지 아래 댓글에 보고하세요.
 
5. 데이터 세트 학습, 테스트 및 검증 생성
 

 데이터를 훈련으로 분할 , 테스트 및 검증 세트.
 

 data_sets.sh 
 
#!/bin/sh

GEN=SEQ
# GEN=RAN

FILE=TIMESLICE_TAVG_US_2010-2019.csv

TRAIN_SET_PERCENT=70
TEST_SET_PERCENT=20
VAL_SET_PERCENT=$(( 100 - $TRAIN_SET_PERCENT - $TEST_SET_PERCENT ))

TRAIN_DATA=TRAIN_$FILE
TEST_DATA=TEST_$ 파일
VAL_DATA=VAL_$FILE

> $TRAIN_DATA
> $TEST_DATA
> $VAL_DATA

`cut -d의 상태용 ',' -f1 $FILE | 정렬 | uniq`
do
    NUM_STATE_DATA=`grep "$state" $FILE | wc -l`
    echo "$state:$NUM_STATE_DATA"

    TRAIN_NUM_DATA=$(( $NUM_STATE_DATA * $TRAIN_SET_PERCENT / 100 ))
    TEST_NUM_DATA=$(( $NUM_STATE_DATA $TEST_SET_PERCENT / 100 ))
    VAL_NUM_DATA=$(( $NUM_STATE_DATA - $TRAIN_NUM_DATA - $TEST_NUM_DATA ))

    if [ $GEN =="SEQ" ]
    then
        echo "순차적"
        STATE_DATA=`grep $state $FILE`
    elif [ $GEN =="RAN" ]
    then
        echo "무작위"
 STATE_DATA=`grep $state $FILE | shuf`
    else
        echo "알 수 없는 데이터 생성 유형:" $GEN
        exit 1
    fi

    # 기차 세트
    per=$ TRAIN_SET_PERCENT
    num=$TRAIN_NUM_DATA; 에서 =1; to=$(($from + $num - 1));
    echo 기차 세트:$per% $num from=$from to=$to
    echo "$STATE_DATA" | head -$to>> $TRAIN_DATA

    # 테스트 세트
    per=$TEST_SET_PERCENT
    num=$TEST_NUM_DATA; from=$(($에서 + 1)); to=$(($from + $num - 1));
    echo 테스트 세트:$per% $num from=$from to=$to
    echo "$STATE_DATA" | 머리 -$to | tail -$num>> $TEST_DATA

    # 세트 유효성 검사
    per=$VAL_SET_PERCENT
    num=$VAL_NUM_DATA; from=$(($에서 + 1)); to=$NUM_STATE_DATA;
    echo 유효성 검사 세트:$per% $num from=$from to=$to
    echo "$STATE_DATA" | tail -$num>> $VAL_DATA

    echo
완료
 

 이는 GEN=SEQ를 설정하여 순차적 또는 무작위화할 수 있는 데이터 세트를 생성합니다. 또는 GEN=RAN 스크립트에서 shuf로 데이터를 섞을 수 있습니다.
 

 스크립트 실행:
 
$ ./data_sets.sh
AK:3652
순차
기차 세트:70% 2556 from=1 to=2556
테스트 세트:20% 730 from=2557 to=3286
검증 세트:10% 366 from=3287 to=3652

...

WY:3352
순차
 기차 세트:70% 2346 from=1 to=2346
테스트 세트:20% 670 from=2347 to=3016
검증 세트:10% 336 from=3017 to=3352
 

 이러한 데이터 파일을 생성하려면:
 
$ ls *_TIMESLICE_TAVG_US_2010-2019.csv
TEST_TIMESLICE_TAVG_US_2010-2019.csv   VAL_TIMESLICE_TAVG_US_2010-2019.csv
TRAIN_TIMESLICE_20 
쉘로 데이터 처리
 

 다음 머신 러닝 프로젝트를 위해 엄청난 양의 데이터를 처리해야 하는 경우 셸 명령과 스크립트에 대해 생각해 보십시오. 입증되었으며 친절한 커뮤니티와 함께 ​​사용하여 귀하를 안내하고 도울 준비가 되어 있습니다.
 

 이 기사는 데이터 처리를 위한 쉘을 소개하고 스크립트는 기회를 보여줍니다. 훨씬 더 많은 것이 가능합니다. 앞으로 가져가시겠습니까? 아래 댓글로 알려주세요.