빅데이터, 인공지능 성장의 숨은 동력
최근 영국 경제지 <더 이코노미스트(The Economist)>는 "데이터가 인류가 보유한 가장 가치 있는 상품이 되었다"고 강조했습니다. 흩어져 있던 작은 데이터 조각들이 대규모로 통합될 때, 우리는 이를 '빅데이터(Big Data)'라고 부릅니다. 우리가 빅데이터를 각종 사이버 공격으로부터 지키느라 분주한 사이, 빅데이터는 조용히 인공지능(AI)의 성장에 기여하고 있습니다. 어떻게 말입니까? AI의 한 분야인 머신러닝(Machine Learning)은 기하급수적으로 발전하고 있으며, 이를 '정보 기반 확대 전략'이라고 표현할 수 있습니다. 쉽게 말해, 방대한 양의 데이터가 없다면 AI를 만들고, 테스트하고, 학습시키는 것이 불가능하다는 뜻입니다.
AI가 다양한 산업을 크게 성장시킬 잠재력을 지니고 있다는 사실은 부정할 수 없습니다. 금융권, 자동차 산업, 로펌 등 이미 수많은 분야에서 AI가 활발하게 활용되고 있습니다. 따라서 치열한 경쟁에서 앞서고자 하는 기업에게는 데이터 확보와 AI 기반 분석 능력이 필수 요소가 되었습니다. '인공지능·로보틱스 센터(Centre for Artificial Intelligence and Robotics)'의 보고서에 따르면, AI는 최근에 등장한 기술이 아니며 이미 오랜 기간 우리 곁에 존재해 왔습니다. 그럼에도 AI와 머신러닝의 역량이 오랫동안 베일에 싸여 있었던 이유는, 여러 소스에서 수집된 대량의 데이터가 부족했기 때문입니다. AI 기계가 학습하는 데 필수적인 자원이 부족했으니 의미 있는 발전을 이루기 어려웠던 것입니다.
그러나 지금은 상황이 완전히 달라졌습니다. 우리는 막대한 볼륨의 데이터는 물론, 이를 분석할 수 있는 역량까지 갖추게 되었습니다. 빅데이터 분야의 발전은 AI의 범위와 미래를 획기적으로 변화시키고 있습니다. 납득이 되지 않으신가요? 그렇다면 그 근거를 하나씩 살펴보겠습니다.
출처: betanews.com
1. 폭발적으로 향상된 컴퓨팅 파워
컴퓨팅 성능은 빅데이터를 '부담'에서 '비즈니스 자산'으로 바꿔놓았고, 그 전환은 이미 시작되었습니다. 과거에는 많은 시간과 비용이 들었지만, 오늘날에는 나노초 단위의 시간만으로 수백만 개의 데이터셋을 처리할 수 있습니다. 이 모든 것은 컴퓨팅 속도의 기하급수적인 향상 덕분입니다. 직렬·병렬 컴퓨팅 기술의 발전으로 실시간 데이터 처리가 가능해졌으며, 이를 통해 AI 기반 애플리케이션을 위한 처리 지침도 함께 도출됩니다.
2. 데이터 우선주의 접근 방식
빅데이터, 즉 대용량 데이터에 즉시 접근하고 신속하게 검색할 수 있게 되면서 일대 변혁이 일어나고 있습니다. 10년 전만 해도 데이터 과학자와 통계학자들은 '표본 데이터셋(sample dataset)'에 연구를 제한할 수밖에 없었습니다. 하지만 지금은 전체 실제 데이터를 가지고도 주저 없이 분석 작업을 진행할 수 있게 되었습니다. 더욱이 반복(iteration) 기반 데이터 및 예측 분석 도구가 보편화되면서, 점점 더 많은 조직이 가설 중심 접근 방식에서 데이터 우선(data-first) 접근 방식으로 전환하고 있으며, 이는 AI 발전에 큰 활력을 불어넣고 있습니다.
출처: martechtoday.com
3. 자연어 처리(NLP)의 발전
자연어 처리(Natural Language Processing, NLP) 기술은 다양한 대화형 애플리케이션에 활용되고 있습니다. 시리(Siri), 알렉사(Alexa), 온라인 뱅킹 서비스 챗봇 등이 대표적인 예입니다. 인간과의 상호작용으로부터 배우는 것은 AI와 NLP의 핵심 요소인데, 빅데이터는 방대한 데이터 속에서 관련 정보를 찾아내 종합적인 인사이트를 도출하는 능력을 갖추고 있습니다. 아울러 빅데이터는 여러 데이터 소스 전반에 걸친 패턴을 식별하고 드러내는 데에도 도움을 주며, 이는 AI의 고도화에 매우 유용하게 쓰일 것입니다.
4. 비용과 성능의 줄다리기
비용과 성능 사이의 끝없는 줄다리기도 계속되고 있습니다. 메모리 장치는 이제 빅데이터를 효율적으로 저장하고 검색하는 것을 가능하게 만들었으며, 앞으로 이런 장치가 훨씬 더 많이 필요할 것입니다. 이를 염두에 둔 프랑스의 유명 기업 '업멤(Upmem)'은 AI 워크로드의 처리를 DRAM으로 오프로드(offload)하는 방식을 선보였습니다. 수천 개의 이러한 유닛을 기존 프로세서에 연결하면 워크로드가 무려 20배나 빠르게 실행된다는 것이 확인되었습니다. 다만 이를 구현하는 데에는 상당한 투자가 필요합니다. 따라서 비용과 성능이 항상 함께 갈 수는 없으며, 어느 한쪽을 타협해야 하는 현실에 직면해 있습니다.
출처: codekul.com
AI와 빅데이터의 융합, 그 미래는?
빅데이터의 영향력이 우리의 예상을 뛰어넘을 것이라는 사실은 부정할 수 없습니다. AI와 빅데이터의 결합으로 혁신의 물결은 더욱 거세질 것으로 전망됩니다. 두 기술은 앞으로 기업들이 의지하게 될 가장 유망한 기술 경로이기 때문입니다. 첫 번째 빅데이터의 물결이 데이터 업로드·다운로드의 유연성과 속도 향상에 집중했다는 점을 기억합시다. 그 목표는 이미 달성되었습니다. 하지만 빅데이터와의 수렴과 상호 의존성을 깊이 이해함으로써 AI를 적극 활용하는 두 번째 물결에 도달하기까지는 상당한 시간이 걸릴 수 있습니다.
오늘 포스팅이 도움이 되셨기를 바랍니다. 여러분의 생각을 댓글로 남겨주세요!