최근 몇 년간 인공지능(AI)의 눈부신 발전은 사실상 딥러닝 신경망 덕분이라 해도 과언이 아닙니다. 이미지 인식부터 스마트 온도조절기, 자율주행자동차까지, AI는 이미 스마트폰 속에까지 스며들어 있습니다. 그만큼 신경망은 보편적인 기술로 자리 잡았습니다. 그러나 이 시스템의 핵심 원리 일부가 AI가 직면한 중대한 문제들을 해결하지 못할 수 있다는 우려가 커지고 있습니다. 이는 곧 '기존' 신경망이 시장에서 퇴출되고, 더 첨단 기술인 '캡슐(Capsule)' 신경망으로 대체될 가능성을 시사합니다.
기존(인공) 신경망이란 무엇이고, 어떻게 작동할까?
학창 시절 뇌 속 단일 생물학적 뉴런의 시뮬레이션을 관찰해 본 적이 있을 것입니다. 여러 방향에서 정보가 유입되어 뉴런 안에서 모이고 처리된 뒤, 그 결과가 다시 흘러나오는 과정 말입니다. 이러한 과정 덕분에 뉴런은 이전에 학습한 패턴을 바탕으로 반응할 수 있습니다. 과학은 이 과정을 재현하기 위해 생물학적 뉴런처럼 정보를 처리하는 구조를 만들어냈습니다. 다만 기술 기반의 신경망은 수학에 근거하며, 정보가 인공 뉴런을 통과하면서 결과가 출력되는 방식입니다. 이 과정은 이제 하나의 수학 공식으로 정립되어 간단한 문제 해결에 활용되고 있습니다.
출처: ptgrey
생물학적 뉴런과 마찬가지로, 인공 신경망은 네트워크 집합을 층(layer) 단위로 연결하는 방식으로 강력해집니다. 층별로 연결하면 수학 공식은 마치 다차원 다항식과 같은 형태가 됩니다. 이를 통해 3차원 해의 표면과 같은 복잡한 문제도 발견하고 해결하여 실제로 활용할 수 있게 됩니다. 앞서 설명한 것처럼 정보가 입력되고 결과가 출력되지만, 두 번째 층으로 흘러 들어가는 입력값은 첫 번째 층의 출력값입니다. 이 정확한 절차가 신경망의 각 층마다 반복되는 것이 바로 인공 신경망의 작동 방식입니다.
함께 읽으면 좋은 글: 인간성을 기계에게 가르쳐야 할까?
캡슐 네트워크란 무엇이고, 어떻게 작동할까?
캡슐 네트워크는 '캡슐'로 구성된 새로운 유형의 신경망입니다. 여기서는 소규모 뉴런 군집(cluster)이 이미지의 특정 부위에 연결됩니다. 이 개념을 이해하기 위해, 서로 다른 구성 요소로 이루어진 하나의 이미지를 상상해 보세요. 각 구성 요소는 해당 뉴런과 연결되어 있으며, 각 뉴런의 활동 값은 이미지 내 해당 구성 요소의 특성을 결정합니다. 그리고 각 캡슐은 이미지 속 하나의 구성 요소를 인식하는 역할을 담당합니다.
출처: robohub
캡슐 네트워크는 뉴런 그룹들의 네트워크로, 각 뉴런이 이미지 내 독립적으로 식별 가능한 개체(entity)를 대표합니다. 캡슐 네트워크는 합성곱 신경망(CNN)의 한계를 극복하기 위해 고안되었습니다. 예컨대 캡슐 네트워크는 이미지 내 각 구성 요소의 방향(orientation), 위치(localization), 정확한 좌표까지 명시할 수 있는데, 이는 기존 신경망에서 구현하기 어려운 기능입니다.
캡슐 네트워크의 활용 분야
기존 신경망의 가장 큰 한계는 컴퓨터 비전(computer vision) 분야에서 드러납니다. 캡슐 네트워크는 바로 이 문제를 해결하는 것을 목표로 하며, 실제로 캡슐 네트워크를 개발하게 된 근본적인 이유 또한 여기에 있습니다.
현재 기존 신경망은 적은 양의 데이터로 이미지를 인식하거나, 이미지 내 구성 요소들 사이의 맥락적 의존관계(contextual contingency)를 파악하는 데 어려움을 겪고 있습니다. 캡슐 네트워크는 이러한 문제의 해결책이 될 수 있습니다.
함께 읽으면 좋은 글: AI 머신에 가장 적합한 프로그래밍 언어는 무엇일까?
기존 신경망은 학습을 위해 방대한 양의 데이터를 필요로 하는 반면, 캡슐 네트워크의 조정 방식은 다릅니다. 참고로 캡슐 네트워크는 딥러닝의 거장 제프리 힌튼(Geoffrey Hinton)이 제안한 개념으로, 동적 라우팅(dynamic routing) 기법을 통해 부분과 전체의 계층적 관계를 학습한다는 점이 특징입니다.
캡슐 네트워크가 기존 신경망의 퇴장을 예고한다고 주장하는 이들도 있지만, 수많은 연구자들은 이 네트워크가 충분한 성능을 내지 못할 수 있는 다양한 적용 분야를 지적하고 있습니다. 결론이 나기 전까지는 지켜볼 수밖에 없습니다. 지금까지 신경망에 대해 알아보았습니다. 공유하고 싶은 의견이 있다면 아래 댓글로 남겨주세요.