인간은 과거의 경험 속에서 적절한 사례를 떠올리는 능력을 바탕으로 추론합니다. 감염을 진단하는 의사, 보험 사기 청구를 적발하는 심사 담당자, 송로버섯(morel)을 찾아내는 버섯 채집가는 모두 동일한 절차를 따릅니다.이들은 먼저 경험 속에서 유사한 사례를 인식한 뒤, 그 사례들에 대해 쌓아온 지식을 현재 직면한 문제에 적용합니다. 이것이 바로 메모리 기반 추론(Memory-Based Reasoning, MBR)의 핵심입니다. 즉, 알려진 데이터베이스를 검색하여 새로운 데이터와 유사한 사전 분류된 레코드를 찾아내고, 이렇게 발견된

그리드 기반 클러스터링이란?그리드(grid)는 특히 저차원 데이터에서 데이터 집합을 효율적으로 구성하는 강력한 방법입니다. 핵심 아이디어는 각 속성의 가능한 값 범위를 여러 개의 연속적인 구간으로 나누어 격자 셀(grid cell) 집합을 만드는 것입니다. 이렇게 하면 각 데이터 객체는 자신의 속성 값이 포함된 구간에 해당하는 격자 셀에 자연스럽게 배치됩니다.데이터를 단 한 번 훑는 것만으로 객체들을 적절한 격자 셀에 할당할 수 있으며, 동시에 각 셀에 포함된 점의 개수와 같은 통계 정보도 함께 수집할 수 있다는 점이 큰 장점입니다

물리적 또는 추상적인 객체들의 집합을 서로 유사한 객체들끼리의 클래스로 묶는 과정을 클러스터링(군집화)이라고 합니다. 하나의 클러스터는 동일한 클러스터 내부에서는 서로 유사하고, 다른 클러스터의 객체들과는 상이한 데이터 객체들의 집합을 의미합니다. 여러 응용 분야에서 데이터 객체의 클러스터는 하나의 그룹으로 간주될 수 있으며, 군집 분석은 인간에게 매우 본질적인 활동 중 하나입니다.클러스터링은 아웃라이어(outlier, 이상치)를 식별하는 데에도 유용합니다. 유사한 값들은 클러스터로 조직화되며, 어떤 클러스터에도 속하지 않는 값들은

m개의 데이터 포인트에 대한 m×m 근접 행렬(proximity matrix)은 하나의 밀집 그래프(dense graph)로 정의할 수 있습니다. 이 그래프에서 각 노드는 다른 노드들과 연결되어 있으며, 노드 그룹 사이의 엣지(edge) 가중치는 해당 노드 쌍의 근접도(pairwise proximity)를 따릅니다. 모든 객체가 서로에 대해 어떤 방식으로든 유사성을 지니지만, 대부분의 데이터셋에서 객체들은 소수의 객체와만 매우 유사하고 나머지 대다수 객체와는 약한 유사성만 보입니다.이러한 특성을 활용하면 실제 클러스터링 과정을 시작

CURE 클러스터링 알고리즘이란?CURE(Clustering Using REpresentatives)는 대규모 데이터셋, 이상치(outlier), 비구형(non-spherical) 구조를 가진 군집, 크기가 균일하지 않은 군집까지 효과적으로 처리할 수 있도록 여러 기법을 결합한 클러스터링 알고리즘입니다. CURE는 하나의 중심점만 사용하는 기존 기법과 달리, 각 군집에서 추출한 여러 개의 대표점(representative points)으로 군집을 정의한다는 점에서 차별화됩니다.대표점 선택 방식대표점들은 군집의 형태와 구조를 잘 반영

이상 탐지(anomaly detection)는 다수의 객체와 뚜렷하게 다른 객체를 발견하는 것이 목적인 데이터 분석 기법입니다. 이상 객체는 흔히 아웃라이어(outlier, 이상치)라고 불리는데, 데이터 산점도(scatter plot)에서 대부분의 데이터 포인트로부터 멀리 떨어진 위치에 있기 때문입니다.또한 이상 탐지는 편차 탐지(deviation detection)라고도 합니다. 이상 객체의 속성값이 예상되는 값이나 일반적인 속성값에서 크게 벗어나기 때문입니다. 여러 의미에서 이례적인 존재라는 점에서 예외 마이닝(exception

이상 탐지(anomaly detection)란?이상 탐지의 목표는 다수의 객체들과 뚜렷이 구별되는 객체를 찾아내는 것입니다. 이러한 이상 객체는 데이터 산점도(scatter plot)에서 대다수 데이터 포인트로부터 멀리 떨어져 있기 때문에 흔히 이상치(outlier)라고 불립니다. 또한 이상 객체는 기대되는 일반적인 속성값에서 크게 벗어난 값을 가지므로 편차 탐지(deviation detection)라고도 하며, 여러 의미에서 예외적이기 때문에 예외 마이닝(exception mining)이라고 지칭하기도 합니다.전 세계, 인간 사회

이상 탐지(Anomaly Detection)는 데이터 속에서 정상 패턴에서 크게 벗어난 객체를 찾아내는 기법입니다. 개념은 단순해 보이지만, 실제로 설계하고 적용할 때는 여러 가지 중요한 문제를 신중하게 고려해야 합니다. 이 글에서는 이상 탐지를 이해하는 데 꼭 알아야 할 다섯 가지 핵심 과제를 살펴봅니다. 1. 이상을 정의하는 데 사용되는 속성의 수 어떤 객체가 이상(anomaly)인지 여부는 해당 객체의 속성 값이 비정상적인지에 따라 결정됩니다. 그런데 하나의 객체는 여러 개의 속성을 가질 수 있으며, 일부 속성에서는 이상한

통계적 접근 방식의 개념통계적 접근 방식(statistical approach)은 모델 기반(model-based) 방법론의 대표적인 예입니다. 즉, 데이터에 대한 모델을 먼저 생성한 뒤, 각 객체가 그 모델에 얼마나 잘 부합하는지를 기준으로 평가하는 방식입니다.대부분의 통계적 이상치 탐지 기법은 확률 분포 모델을 구축하고, 각 객체가 해당 모델 하에서 얼마나 나타날 가능성이 낮은지를 살펴보는 데 기반합니다. 여기서 이상치(outlier)란 데이터의 확률 분포 모델에 대해 낮은 확률을 가지는 객체를 의미합니다.확률 분포 모델은 사용

데이터 마이닝을 위한 범산업 표준 프로세스인 CRISP-DM(Cross Industry Standard Process for Data Mining)은 측정·검증(M&V) 방법론을 한층 더 표준화하는 접근 방식으로 인정받고 있으며, 에너지 절감량을 보다 효율적으로 추정할 수 있게 해줍니다. CRISP-DM은 다양한 분야에서 활용될 수 있는데, 여기서는 바이오메디컬 제조 공장을 대상으로 한 사례 연구를 통해 각 단계별 적용 과정을 살펴보겠습니다.1. 비즈니스 이해(Business Understanding)데이터 마이닝(DM)이 M&V

비트코인 채굴의 기본 개념비트코인 채굴(mining)은 거래 데이터를 검증하고 공개 장부에 기록하는 과정을 의미합니다. 이 공개 장부는 여러 개의 블록으로 구성되어 있기 때문에 블록체인(blockchain)이라고 불립니다. 비트코인은 가치를 지닌 가상화폐로, 그 가치는 고정되어 있지 않고 시간에 따라 끊임없이 변동합니다. 또한 비트코인 거래를 관리하는 중앙 감독 기관은 존재하지 않습니다.비트코인의 탄생 배경비트코인은 사토시 나카모토(Satoshi Nakamoto)라는 가명을 사용한 인물이 개발을 선언하면서 세상에 알려졌으며, 오픈소

이등분 K-평균(Bisecting K-Means)이란?이등분 K-평균(Bisecting K-Means)은 기본 K-평균(K-means) 알고리즘을 단순히 확장한 군집화 기법으로, 매우 직관적인 아이디어에 기반합니다. 즉, K개의 클러스터를 얻기 위해 전체 데이터 포인트 집합을 먼저 두 개의 클러스터로 분할하고, 그중 하나를 선택해 다시 둘로 나누는 과정을 반복하여 최종적으로 K개의 클러스터가 만들어질 때까지 진행하는 방식입니다.K-평균 알고리즘의 기본 원리K-평균 알고리즘은 입력 매개변수 k를 받아 n개의 객체를 k개의 클러스터로

집약적 계층적 군집화의 개념집약적 계층적 군집화(Agglomerative Hierarchical Clustering)는 하향식(bottom-up) 방식의 군집화 기법으로, 각 군집(cluster)은 다시 하위 군집(sub-cluster)을 포함하고, 그 하위 군집 역시 또 다른 하위 군집을 가지는 계층 구조를 형성합니다. 이 기법은 모든 객체를 각각 하나의 독립된 군집에 배치하는 것에서 시작하여, 원자적 군집들을 점차 더 큰 상위 군집으로 병합해 나갑니다. 이 과정은 모든 객체가 하나의 군집에 속하게 되거나, 미리 정의된 종료 조건

계층적 클러스터링(hierarchical clustering)은 데이터 객체들을 클러스터 트리 형태로 점진적으로 병합해 나가는 방식으로 작동합니다. 계층적 클러스터링 알고리즘은 상향식(bottom-up) 방식과 하향식(top-down) 방식으로 나뉩니다. 다만 정확한 계층적 클러스터링 기법은 병합 또는 분할 결정이 한번 내려지면 이를 조정할 수 없다는 점에서 한계를 가집니다.계층적 클러스터링의 주요 요소1. 전역 목적 함수의 부재병합형(agglomerative) 계층적 클러스터링 기법은 각 단계에서 어떤 클러스터를 병합(분할형 기법

군집화(Clustering)는 레이블이 없는 데이터에서 유사한 특성을 가진 객체들을 그룹으로 묶는 대표적인 비지도 학습 기법입니다. 그중에서도 K-Means와 DBSCAN은 가장 널리 사용되는 두 알고리즘으로, 군집을 정의하는 방식과 작동 원리에서 큰 차이를 보입니다. 이번 글에서는 두 알고리즘의 개념과 특징을 살펴보고, 주요 차이점을 표로 정리해 보겠습니다.K-Means란?K-Means 클러스터링은 대표적인 분할(partitioning) 기반 군집화 알고리즘입니다. 데이터셋의 모든 데이터를 새롭게 형성된 K개의 군집 중 하나에 배

데이터의 특성은 군집 분석(cluster analysis)의 결과와 성능에 큰 영향을 미칩니다. 군집 분석을 수행하기 전에는 반드시 데이터가 가진 특징을 파악하고, 이에 맞는 알고리즘과 전처리 방법을 선택해야 합니다. 아래에서는 군집 분석에 강력한 영향을 주는 대표적인 데이터 특성들을 살펴보겠습니다. 1. 고차원성(High Dimensionality) 고차원 데이터셋에서는 단위 부피당 점의 개수로 정의되는 기존 유클리드 밀도 개념이 크게 왜곡됩니다. 차원이 증가할수록 부피는 기하급수적으로 커지는데, 데이터 포인트 수가 차원 수만큼

군집화(clustering)는 물리적 또는 추상적인 객체들의 집합을 성격이 비슷한 클래스 단위로 묶는 과정을 의미합니다. 클러스터(cluster)란 동일한 클러스터 내부의 객체들은 서로 유사하고, 다른 클러스터에 속한 객체들과는 뚜렷하게 구별되는 데이터 객체들의 집합을 말합니다. 여러 응용 분야에서 하나의 클러스터는 하나의 그룹으로 취급될 수 있으며, 클러스터 분석은 인간에게 매우 본질적인 활동 중 하나입니다.클러스터 분석은 다양한 측정 기준에 따라 유사한 레코드들을 그룹으로 묶는 데 활용됩니다. 핵심 설계 포인트는 분석 목적에 실

클러스터링(군집화) 알고리즘은 데이터 속에서 유사한 객체들을 그룹으로 묶는 대표적인 비지도 학습 기법입니다. 하지만 실무에서 클러스터링 알고리즘을 선택하고 활용할 때는 몇 가지 중요한 특징을 반드시 이해해야 합니다. 지금부터 클러스터링 알고리즘이 지닌 핵심 특징들을 하나씩 살펴보겠습니다.1. 순서 의존성(Order Dependence)여러 클러스터링 알고리즘은 데이터가 처리되는 순서에 따라 생성되는 클러스터의 개수와 특성이 달라질 수 있으며, 경우에 따라 그 차이가 매우 클 수 있습니다. 이러한 순서 의존성 때문에 해당 알고리즘을

프로토타입(prototype) 기반 클러스터링에서 클러스터란, 어떤 객체가 해당 클러스터를 대표하는 프로토타입에 다른 클러스터의 프로토타입보다 더 가까운 객체들의 집합을 의미합니다. 가장 단순한 형태의 프로토타입 기반 클러스터링 알고리즘은 클러스터 내 요소들의 중심점(centroid)을 클러스터의 프로토타입으로 사용합니다.프로토타입 기반 클러스터링의 주요 접근 방식1. 객체의 복수 클러스터 소속 허용하나의 객체가 둘 이상의 클러스터에 동시에 속할 수 있도록 허용하는 방식입니다. 이때 객체는 각 클러스터에 대해 일정한 가중치(weig

SOM의 기본 개념SOM(Self-Organizing Feature Map, 자기조직화 특징 지도)은 신경망 관점에 기반한 군집화(clustering) 및 데이터 시각화 기법입니다. SOM의 목표는 중심점(centroid, SOM 용어로는 참조 벡터)들의 집합을 찾아내고, 데이터 집합 내 각 객체를 해당 객체와 가장 가까운 중심점에 할당하는 것입니다. 신경망 방식에서는 각 중심점마다 하나의 뉴런이 대응됩니다.SOM과 K-평균 알고리즘의 차이점진적 K-평균(K-means)과 마찬가지로, 데이터 객체는 한 번에 하나씩 처리되며 가장 가