이전 빅데이터 시리즈에서는 기능 아키텍처(Functional Architecture)의 여덟 번째 계층인 데이터 통합 도구(Data Integration Tools)를 살펴보았습니다. 이번 글에서는 같은 아키텍처의 아홉 번째 계층을 구성하는 데이터 언어(Data Languages)를 소개합니다.
오늘날 빅데이터 프로젝트는 더 이상 특정 업계만의 전유물이 아닙니다. 규모를 막론하고 모든 기업이 빅데이터가 주는 인사이트를 활용하려 하고 있습니다. 아무리 발전된 GUI 기반 소프트웨어를 갖추더라도 그 핵심에는 결국 컴퓨터 프로그래밍이 자리합니다. 앞서 소개한 도구 유형 관련 글들이 여러분 회사의 빅데이터 조직 설계에 도움이 되었기를 바랍니다. 다만 아직 완성되지 않은 계층이 하나 남아 있습니다. 초기에는 없이도 어느 정도 진행할 수 있지만, 데이터가 감당하기 힘들 만큼 늘어나면 상황은 급격히 복잡해집니다. 그때 유일한 구원책이 바로 데이터 언어입니다.
데이터 언어 목록
1. Java
변함없는 인기를 자랑하는 자바는 데이터 사이언스에 가장 적합한 프로그래밍 언어로 꼽힙니다. MapReduce, HDFS, Storm, Kafka, Spark, Apache Beam 등 JVM 생태계에 속한 모든 플랫폼과 호환됩니다. 또한 디버깅 도구, 모니터링 도구, 라이브러리, 프로파일러 등 방대한 리소스를 활용할 수 있어, 데이터 사이언스 분야에서 가장 오랜 기간 검증되고 개선되어 온 언어입니다.
자바의 가장 큰 장점은 플랫폼 독립성입니다. 한 번 컴파일하면 별도의 전용 컴파일러 없이 어떤 플랫폼에서도 실행할 수 있습니다.
반면 단점도 분명합니다. 코드가 지나치게 장황하고, 반복적 개발에 편리한 REPL(Read-Eval-Print Loop) 환경이 없다는 점입니다.
2. R
R은 데이터 과학자와 데이터 애널리스트가 가장 많이 사용하는 상위 2개 언어 중 하나입니다. 다른 언어들과 달리 R은 통계 계산과 그래픽에 특화된 전용 언어이므로, 다른 언어의 대체재가 아니라 보완재라고 할 수 있습니다. 행·열 단위 데이터가 끊임없이 변하거나 늘어나는 상황에서도 대량의 통계 계산을 자동화할 수 있다는 점이 R의 큰 매력입니다.
실제로 구글, 페이스북, 트위터 등 유명 서비스의 핵심 알고리즘이 R로 개발되었으며, Linux, Windows, macOS 어디서든 실행할 수 있습니다.
3. SQL
SQL(Structured Query Language, 구조화 질의 언어)은 수십 년간 데이터 저장과 조회의 심장 역할을 해온 언어로, 지금도 데이터 애널리스트들 사이에서 압도적인 인기를 유지하고 있습니다. SQL로 수행할 수 있는 대표적인 작업은 다음과 같습니다.
- 데이터베이스와 직접 상호작용할 수 있습니다.
- 방대한 데이터 속에서 필요한 정보만 골라낼 수 있습니다.
- 전체 데이터베이스 테이블을 처리하는 대신 관련 데이터만 추출·처리하여 온라인 요청과 쿼리의 응답 시간을 크게 줄일 수 있습니다.
- 관계형 데이터베이스를 관리하고 다양한 데이터 연산을 수행하는 표준화된 프로그래밍 언어입니다.
함께 읽으면 좋은 글: 무료 데이터 마이닝 도구 19선
4. Hadoop
Hadoop은 데이터 사이언스를 위한 최고의 오픈소스 기술 중 하나입니다. Java 기반 프레임워크로, 분산 컴퓨팅 환경에서 초대규모 데이터셋의 처리와 저장을 지원합니다. Hadoop에 대해 찾아보다 보면 어김없이 마주치게 되는 작은 코끼리 로고를 보셨다면, 그것이 바로 Hadoop이라는 뜻입니다.
Hadoop은 빅데이터 환경의 안정성을 고려해 설계되어, 개별 서버나 클러스터에 장애가 발생해도 기능을 계속 유지합니다. 또한 단일 서버에서 수천 대의 머신까지 확장할 수 있으며, 각 노드는 로컬 연산과 저장 기능을 담당합니다.
일부 처리 도구보다 속도는 다소 느리지만 결과의 정확성이 검증되어 있어, 백엔드 분석 용도로는 최고의 선택지입니다.
5. JavaScript
JavaScript는 세련된 웹사이트와 웹 게임을 만드는 데 널리 쓰이는 인기 있고 강력한 동적 스크립트 언어입니다. C 언어에서 문법의 상당 부분을 차용했으며, 모든 브라우저와 호환되고 전체 웹 페이지의 90% 이상에서 사용된다는 점이 가장 큰 강점입니다.
이름은 자바와 비슷하지만 실제로는 전혀 다른 언어입니다. JavaScript를 활용하면 클라이언트 측 스크립트를 실행하고, 사용자와 실시간으로 상호작용하며, 브라우저를 제어하고, 서버와 비동기 통신을 주고받을 수 있습니다.
6. SAS
SAS(Statistical Analysis System)는 데이터 사이언스용 프로그래밍 언어의 선두주자입니다. 상용 분석 시장에서 가장 높은 점유율을 기록하고 있으며, 특히 민간 기업에서 압도적인 지위를 누리고 있습니다. 1960년대부터 통계 모델링에 사용되어 왔고, 수십 년간의 업데이트와 발전에도 불구하고 그 위치를 지켜내고 있습니다.
SAS가 사랑받는 비결은 폭넓은 통계 함수와 함께 짧은 시간 안에 습득할 수 있는 사용자 친화적인 GUI를 갖추고 있다는 점입니다. 또한 데이터베이스와 비정형 파일 접근, 데이터 조작, 웹 게시용 그래픽 출력 등을 위한 다양한 구성 요소를 포함하고 있습니다.
7. SPSS
SPSS Statistics는 일괄(batched) 및 비일괄(non-batched) 통계 분석에 사용되는 소프트웨어 패키지입니다. Windows 기반 프로그램으로 데이터 입력과 분석은 물론, 표와 그래프 작성까지 지원합니다. 대용량 데이터를 문제없이 처리할 수 있으며, 통계 교재에서 다루는 모든 분석과 그 이상을 수행할 수 있습니다.
IBM SPSS는 수십 년간 통계학자와 데이터 과학자들에게 강력한 도구를 제공해 왔습니다. 그동안 SPSS 플랫폼은 데이터 마이닝 프로세스의 전 단계를 지원하도록 발전했으며, 대표적으로 다음 단계를 포함합니다.
- 모델 개발(Model Development)
- 모델 배포(Model Deployment)
- 모델 갱신(Model Refresh)
데이터 사이언스를 위한 최고의 프로그래밍 언어 목록은 아직 끝나지 않았습니다. 나머지 언어들은 다음 편에서 이어집니다. 그때까지 여러분이 가장 좋아하는 데이터 사이언스 프로그래밍 언어가 무엇인지 댓글로 알려주세요!