데이터 분석이라고 하면 대부분 마이크로소프트 엑셀(Microsoft Excel) 같은 도구에서 데이터를 다루고 계산하는 모습을 떠올립니다. 하지만 실제 데이터 분석은 훨씬 폭넓은 개념으로, 다양한 도구와 방법론을 활용해 데이터가 담고 있는 '이야기'를 이해하고 해석하는 전 과정을 의미합니다.
그렇다면 데이터 분석이란 정확히 무엇일까요? 데이터 분석은 비즈니스 데이터, 제조 데이터, 마케팅 데이터, 혹은 특정 산업과 사업에 특화된 데이터 등 무엇을 다루느냐에 따라 그 활용 방식이 크게 달라집니다.
이 글에서는 데이터 분석의 주요 영역과 각각의 의미, 그리고 실무에서 일반적으로 활용되는 방식과 대표적인 도구들을 살펴보겠습니다.
데이터 수집(Data Collection)
모든 데이터 분석의 첫 번째 단계는 데이터 수집입니다. 필요한 정보를 보유한 모든 소스로부터 데이터를 모으는 과정이죠.
수집 대상이 되는 데이터는 다음과 같습니다.
- 제조 설비의 컨트롤러
- 사람이 컴퓨터에 직접 입력하는 데이터
- 온도, 압력 등을 측정하는各종 센서
- 클라우드 기반 데이터 소스
- 기상 정보, 정부 데이터베이스 등 인터넷상의 공개 정보
- 회사 내부 네트워크에 구축된 데이터베이스
많은 조직이 겪는 가장 큰 난관은 바로 이 정보를 수집할 수 있는 기술적 도구가 무엇인지 파악하는 일입니다. 대부분의 경우 원격 장치나 데이터 소스에 연결하여 내부 데이터베이스 또는 데이터 히스토리얼(data historian) 시스템으로 정보를 가져오려면 별도의 소프트웨어가 필요합니다.
이렇게 데이터를 저장하는 공간을 흔히 '데이터 웨어하우스(Data Warehouse)'라고 부릅니다.
조직 내부의 데이터 웨어하우스에 정보가 모이면, 다양한 분석 도구를 활용해 본격적인 데이터 분석을 시작할 수 있습니다.
비즈니스 인텔리전스(Business Intelligence)
데이터 수집이 완료되었다면, 다음 단계는 그 데이터를 어떻게 활용할지 결정하는 것입니다. 비즈니스 인텔리전스(BI) 관점에서 필요한 데이터란 조직이 더 나은 비즈니스 의사결정을 내리는 데 도움이 되는 데이터를 말합니다.
BI 리포트와 대시보드는 경영진과 관리자가 트렌드를 파악하고 비즈니스 전반에 대한 통찰(insight)을 얻는 데 큰 도움을 줍니다.
BI로 분석할 수 있는 주요 영역은 다음과 같습니다.
- 공급망의 수요와 한계
- 비용 절감 방안
- 판매 실적 개선
- 고객의 요구사항과 행동 패턴
- 미래 매출 및 시장 수요 예측
- 물류와 배송 관리
조직 전반에 흩어져 있는 여러 시스템에서 데이터를 통합 수집하면, 과거에는 발견하기 어려웠던 정보 간의 연관성까지 파악할 수 있습니다.
제조 인텔리전스(Manufacturing Intelligence)
제조 공정에서 데이터를 수집할 때 가장 큰 어려움은 데이터의 방대한 양입니다.
일반적인 제조 현장을 생각해 보면, 생산 라인의 모든 기계가 수십에서 수백 개에 이르는 데이터 포인트를 생성합니다. 예를 들면 다음과 같습니다.
- 온도 및 압력 값
- 생산된 부품이나 제품 수
- 사용된 원자재량
- 불량으로 폐기된 부품 수
- 오작동 횟수와 알람 발생 기록
대부분의 제조 설비는 PLC(Programmable Logic Controller, 프로그래머블 로직 컨트롤러)로 자동화됩니다. PLC는 설정된 프로그램대로 장비를 운전할 뿐만 아니라, 해당 설비에서 발생하는 데이터를 함께 수집하는 역할도 합니다.
PLC에서 데이터를 추출하려면 동일한 네트워크 상의 서버에서 실행되는 소프트웨어가 필요합니다. 이러한 컨트롤러에서 데이터를 꺼내 데이터 히스토리언이나 데이터베이스로 저장해 주는 솔루션을 제공하는 벤더는 매우 다양합니다.
데이터 히스토리언 분야의 대표적인 솔루션은 다음과 같습니다.
- OSIsoft: 수십 년의 역사를 지닌 업계 선두 기업으로, 거의 모든 종류의 프로세서, 센서, 데이터베이스에서 데이터를 추출할 수 있는 '인테그레이터(integrator)'와 드라이버를 제공합니다.
- FactoryTalk: 오랜 자동화 시장 리더인 록웰 오토메이션(Rockwell Automation)이 자체 개발한 데이터 히스토리언으로, 고객이 기계 프로세서에서 데이터를 수집하도록 지원합니다.
- AVEVA: 과거 원더웨어(Wonderware)로 불렸으며, AVEVA Historian은 공정 데이터, 알람, 이벤트 등 기계 데이터에 대한 '개방형 접근(open access)'을 제공합니다.
- Iconics: 데이터 히스토리언 시장에서 성장하고 있는 업체로, '고속 아카이빙'을 통해 저장된 데이터의 해상도가 기계에서 실제 발생한 상태와 일치하도록 지원합니다.
이들 소프트웨어 공급업체 대부분은 데이터 히스토리언 솔루션과 함께 데이터 분석 도구도 번들로 제공합니다. 자사 제조 현장에 맞는 최적의 데이터 수집·분석 솔루션 선택은 사용 중인 컨트롤러의 종류, 데이터 저장 방식, 그리고 투자 가능한 예산에 따라 달라집니다.
데이터 시각화(Data Visualization)
비즈니스 데이터를 수집·분석·시각화하는 데 가장 널리 쓰이는 도구는 마이크로소프트 파워 BI(Power BI)입니다.
Power BI는 마이크로소프트가 제공하는 강력한 시각화 도구로, 다양한 데이터 소스의 데이터를 한곳으로 가져올 수 있습니다. 이후 원형 차트, 막대 그래프, 선 그래프, 표 등 여러 형태로 데이터를 자유롭게 잘라보고 조합할 수 있죠.
서로 다른 데이터 소스의 정보를 결합할 수 있다는 점은 이전에는 찾아낼 수 없었던 상관관계를 발견하게 해 줍니다. 이것이 바로 현대 데이터 분석의 마력입니다. 여러 소스의 데이터를 시각화할 수 있는 도구가 등장하면서, 과거에는 불가능했던 통찰을 얻을 수 있게 된 것이죠.
Power BI만이 유일한 선택지는 아닙니다. 사실 이런 유형의 도구를 위한 시장은 계속해서 빠르게 성장하고 있습니다.
현재 주목받는 대표적인 데이터 시각화 도구는 다음과 같습니다.
- Metabase: 오픈소스(무료) 솔루션으로, 조직 구성원 누구나 "데이터에 질문하고 답을 얻을 수 있다"는 철학을 내세웁니다.
- Tableau: 다양한 산업 전반에서 활용되는 인기 데이터 시각화 플랫폼으로, 폭넓은 데이터 소스 연동성을 자랑합니다.
- Whatagraph: 이해하기 쉬운 보고서를 손쉽게 만들 수 있어 마케팅 대행사에서 특히 인기입니다. 보고서 자동 생성 기능과 이메일 자동 발송 기능도 갖추고 있습니다.
- JasperReports: 오픈소스 리포팅 솔루션으로, 인쇄 문서, PDF, 웹 기반 보고서 등 다양한 형식으로 결과물을 출력할 수 있는 것이 강점입니다.
어떤 도구를 선택할지는 결국 본인이나 조직이 감수할 수 있는 투자 규모에 달려 있습니다. 다행히도 초기 도입 단계라면 훌륭한 오픈소스 대안도 충분히 있습니다.
데이터 마이닝(Data Mining)
최근 가장 주목받는 데이터 분석 기법 중 하나가 바로 데이터 마이닝입니다.
데이터 마이닝은 통계 모델링을 활용해 대규모 데이터 속에서 패턴과 추세를 추출하고, 이를 바탕으로 미래를 예측하는 데 초점을 맞춥니다.
데이터 마이닝 통계 분석을 수행하는 애플리케이션은 매우 전문적이며, 대개 분석 대상이나 상황에 맞게 커스터마이징이 필요합니다.
데이터 마이닝 분석의 주요 유형은 다음과 같습니다.
- 탐색적 데이터 분석(EDA): 데이터 속에서 패턴을 탐색하여 새로운 트렌드를 발견하거나 새로운 정보를 학습하는 방식입니다.
- 확증적 데이터 분석(CDA): 수집된 모든 데이터를 활용해 의심되는 상관관계가 실제로 참인지 검증하는 방식입니다.
현재 시장에서 주도권을 쥐고 있는 대표적인 데이터 마이닝 소프트웨어는 다음과 같습니다.
- RapidMiner: 자바 기반의 탁월한 오픈소스 예측 분석 시스템으로, 머신러닝, 예측 분석, 텍스트 마이닝을 지원합니다.
- Sisense: 비즈니스 인텔리전스에 특화된 라이선스 소프트웨어로, 대규모 조직으로의 확장이 가능하며 우수한 리포팅 모듈을 포함합니다.
- Oracle: 데이터 업계의 선두 주자로, SQL 내 데이터 마이닝 기능을 제공해 오라클 데이터베이스에 저장된 데이터를 그대로 분석에 활용할 수 있습니다.
- IBM Cognos: 대용량 데이터를 처리해 핵심 트렌드를 도출할 수 있으며, 이를 경영진용 보고서로 생성할 수 있습니다.
- SAS: 데이터 업계의 또 다른 거대 기업인 통계 분석 시스템(SAS)은 데이터 마이닝과 관리는 물론, 분석 결과에 기반한 데이터 갱신까지 수행하도록 설계되었습니다.
지금까지 살펴본 것처럼 데이터 분석은 여러 측면을 가지고 있으며, 어떤 도구가 필요한지는 결국 데이터로부터 무엇을 알고 싶은가에 따라 결정됩니다.
데이터 분석 기술은 해마다 발전을 거듭하고 있습니다. 업계에서 앞서 나가고자 하는 모든 기업과 조직은 최신 데이터 분석 도구의 동향을 꾸준히 파악하고, 이를 최대한 활용할 수 있는 역량을 갖추어야 합니다.