안면인식(Facial Recognition) 기술은 법 집행 분야에 새로운 알고리즘이 도입되면서 상상을 초월할 정도로 발전해 왔습니다. 현재 이 기술은 데이터 수집 과정 전반에 걸쳐 법 집행 기관에서 활용되고 있으며, 붐비는 군중 속에서 범죄 용의자를 식별하는 데까지 사용됩니다. 공공장소와 거리에 설치된 CCTV 영상을 수집하고, 이를 기관의 데이터베이스와 대조하여 수배 중인 얼굴을 찾아내는 방식입니다.
뿐만 아니라 이 기술은 스마트폰과 웨어러블 기기 같은 소형 기기에도 탑재되었습니다. 즉, 거리에서 우리를 보호할 뿐만 아니라 스마트 기기에 저장된 개인정보까지 지키려 하는 것입니다. '페이스프린트(faceprint)'를 마케팅과 광고에 활용하는 사례도 소셜미디어 캠페인 시대에 흔해졌으며, 쇼핑몰과 매장 등에서의 민간 감시도 이루어지고 있습니다.
이런 관점에서 보면 안면인식 기술의 장점은 부정하기 어렵습니다. 하지만 동시에 사용자 프라이버시, 데이터 보호, 그리고 법과 국민 간의 투명성에 미치는 위협으로 끊임없는 검증 대상이 되어 왔습니다. 침해적인 기술의 양면을 모두 인식하는 것은 바람직한 태도입니다. 그런데 사람들이 놓치기 쉬운 또 하나의 문제가 있습니다. 바로 인종 프로파일링과 인종 차별입니다.
이 글에서는 안면인식 기술이 어떻게 인종 편견과 차별을 조장하는지, 그리고 그 결과가 얼마나 심각한지 살펴보겠습니다.
안면인식은 어떻게 작동할까?
1단계: 카메라, 계정, 이메일 등에서 얼굴 사진이 수집됩니다. 정면 프로필 사진일 수도 있고, 군중 속에서 찍힌 무작위 사진일 수도 있습니다.
2단계: 안면인식 소프트웨어가 수집된 얼굴을 저장된 페이스프린트 데이터베이스와 대조합니다. 페이스프린트는 얼굴의 기하학적 특징을 추적해 생성된 데이터입니다.
3단계: 알고리즘이 입력된 사진과 알려진 페이스프린트 간의 일치율을 산출하고, 그 결과를 바탕으로 판단이 내려집니다.
자동화 편향: 안면인식 기술의 수많은 결함 중 하나
자동화 편향(Automation Bias) 또는 기계 편향(Machine Bias)이란 기계 알고리즘이 입력 데이터의 보정 과정에서 특정한 편견을 드러내 불리한 결과를 산출하는 상황을 말합니다. 이는 알고리즘 코드의 오류, 보정용 데이터셋 부족, 잘못된 입력값, 혹은 기계가 처리할 수 있는 한계를 넘어선 과잉 데이터 입력 등으로 발생합니다.
인종 프로파일링은 어떤 방식으로 나타날까?
2001년으로 거슬러 올라가 봅시다. 당시에는 별것 아닌 일로 여겨졌던 사건입니다. 2001년 슈퍼볼을 맞아 관광객으로 거리가 붐비던 탬파시는 안면인식 소프트웨어를 도심 감시에 사용했습니다. 뉴욕타임스 보도에 따르면, 해당 소프트웨어는 체포영장이 발부된 것으로 추정되는 19명을 식별했지만, 경기장 구조상 극도로 붐비는 인파 속에서 지목된 인물들에게 접근하는 것이 불가능해 실제 체포는 이루어지지 않았습니다.
이 사건에서 인종 프로파일링의 징후는 뚜렷하게 드러나지 않았습니다. 그러나 감시 기술이 시민의 자유와 프라이버시 침해 논란과 직면한 첫 사례였다는 점에서 의미가 큽니다. 이후 몇 년간 탬파 경찰은 신뢰성 없는 결과를 이유로 이러한 감시 시스템 사용을 접었습니다.
좀 더 최근의 사례로 넘어가 보겠습니다. 가디언(The Guardian)의 앨리 브랠랜드 기자는 윌리 린치(Willie Lynch)라는 흑인 남성의 체포 건을 보도했습니다. 린치는 유색인종이 다수 거주하는 브렌트우드 지역의 악명 높은 마약상으로 지목되었는데, 경찰이 확보한 유일한 증거는 그의 휴대전화에 있던 사진이었고, 이를 경찰 데이터베이스와 대조한 결과 그를 범인으로 판단했습니다. 린치는 8년형을 선고받았으며 현재 항소 중입니다. 그가 실제로 마약상이었든 아니든, 기계가 산출한 결과 하나만으로 수사 대상자의 유죄를 인정하는 것이 과연 정당한지에 대한 의문을 남기지 않을 수 없습니다.
2019년에는 톰 킨스(Tom Perkins)가 가디언을 통해 보도했듯이, 디트로이트 경찰이 최소 2년간 안면인식 기술로 체포를 진행해 온 사실이 드러났습니다. 디트로이트는 주민 80% 이상이 흑인인 도시입니다. 디트로이트 경찰위원회의 흑인 위원은 흑인들이 공통으로 지닌 얼굴 특징이 시스템 알고리즘의 오류를 유발한다며 이를 "테크노 인종차별(techno-racism)"이라고 비판했습니다.
2019년 파비오 바키니(Fabio Bacchini)와 루도비카 로루소(Ludovica Lorusso)가 정보윤리 학술지(Journal of Information Communication and Ethics Society)에 발표한 연구에서도 생체인식 및 안면인식 시스템이 법 집행에 100% 신뢰할 수 없음이 확인되었습니다. 연구는 인종 차별이 이러한 시스템 전반에 부정적 영향을 미치며, 역으로 사회적 파장도 일으킨다고 지적했습니다. 특히 서구 사회에서 이런 시스템이 광범위하게 감시 목적으로 사용되고 있다는 점에 주목했습니다.
이상의 세 가지 사례는 안면인식 시스템이 초래한 인종 격차가 드러난 수많은 사건 중 빙산의 일각에 불과합니다. 그렇다면 알고리즘 코드가 날로 정교해지고 있는데도, 왜 이런 시스템들은 여전히 무능하기 짝이 없을까요?
서구 기술 업계의 백인 중심 구조
2014년, 애플을 비롯한 주요 기술 기업들이 대부분 백인 남성 직원을 채용하고 있다는 사실이 밝혀졌습니다. 애플의 경우 전체 직원의 55%가 백인이었고, 리더십급 직원 중 백인 비율은 63%에 달했습니다. 페이스북, 구글, 트위터 등도 유사한 인력 구성 보고서를 제출했습니다. 5년 후 와이어드(Wired)의 보도는 이 수치가 거의 개선되지 않았음을 확인해 주었습니다.
페이스북이 어느 정도 개선세를 보인 것과 달리, 애플의 흑인 기술직 종사자 비율은 전체 인력의 6%에 머무른 채 변하지 않았습니다. 미국 내 사무국에서 흑인 및 라틴아메리카계 직원이 42%를 기록한 곳은 아마존이 유일했습니다.
이 통계는 무엇을 의미할까요? 미국에서 감시 시스템 알고리즘 설계 같은 주요 프로젝트를 맡는 대부분의 코더는 백인입니다. 이들이 기업이 출시할 제품과 서비스에 대한 핵심 의사결정을 내립니다. 따라서 최종 결과물에는 자연스럽게 이들의 관점, 접근 방식, 사고방식이 반영됩니다. 물론 이것이 백인이 모두 인종차별주의자이고 고의적으로 차별적인 시스템을 설계했다는 뜻은 결코 아닙니다.
그러나 백인 개발자가 안면인식 알고리즘을 설계하면서 상담하고 보조하는 동료 역시 모두 백인이라면, 코드를 완성하기 전에 다른 인종의 얼굴 특징을 고려할 가능성은 낮습니다. 백인 엔지니어가 기술 업계를 주도하는 만큼, 초기 코드 작성에 쓰이는 데이터 아카이브 역시 백인 기술자들이 만들고 보정합니다. 결국 코드 그 자체가 핵심 계산 알고리즘 단계에서부터 편향을 내포하게 되고, 그 결과가 감시 결과의 인종 격차로 나타나는 것입니다.
코드는 단지 백인들이 담아준 것을 학습할 뿐입니다. 다른 인종의 관점이나 기여는 전혀 반영되지 않습니다.
보정(Calibration)의 문제
미국의 법 집행은 감시와 데이터 추적에 크게 의존하고 있습니다. 시민들에 대한 무단 감시 실태를 폭로한 내부고발자들의 사례도 적지 않습니다. 에드워드 스노든이 폭로한 NSA의 불법 감시가 대표적 예입니다.
이러한 감시 프로그램은 수백만 명의 시민 페이스프린트와 개인정보에 기반합니다. 페이스프린트만 보더라도, 수많은 미국인들이 소셜미디어에 공개적으로 사진을 올리고 있습니다. 게다가 전국 모든 거리의 CCTV 카메라가 수십만 명의 행인 영상을 실시간으로 제공합니다. 현재 경찰 데이터베이스에는 약 1억 1,700만 장의 이미지가 축적되어 있으며, FBI는 감시용 안면인식 알고리즘 보정을 위해 4억 개가 넘는 데이터셋을 보유하고 있습니다.
이제 이 방대한 데이터셋을 단 한 장의 사진과 비교한다고 상상해 봅시다. 그 사진이 해당 인물의 얼굴 특징을 온전히 담고 있다는 보장도 없습니다. 이런 상황에서는 오류가 발생하기 쉽습니다. 하나의 페이스프린트와 대조하기에는 데이터량이 너무 방대한 것입니다. 보정이 이토록 복잡한 상황에서 어떤 알고리즘도 100% 정확한 결과를 보장할 수 없습니다. 이것이 결국 안면인식 기술이 만들어내는 인종 프로파일링에 한층 무게를 실어줍니다.
안면인식에 대한 과도한 의존
윌리 린치의 사례는 안면인식이 법 집행에서 유일한 증거로 채택되어서는 안 된다는 사실을 일깨워 줍니다. 탬파 경찰이 이 기술을 포기한 이유이기도 합니다.
물론 안면인식은 훌륭한 도구이며 경찰 업무에 실질적인 도움이 됩니다. 보스턴 마라톤 폭탄 테러 용의자도 감시 영상에 대한 정교하고 세밀한 분석을 통해 신원이 확인되었습니다. 하지만 이것만으로 누군가의 유죄를 입증할 수는 없습니다. 안면인식 알고리즘의 결과를 뒷받침할 추가 증거가 반드시 필요하며, 최종 판단에 앞서 자동화 편향의 가능성도 반드시 고려해야 합니다.
하드웨어의 문제: 모바일과 카메라 속 안면인식
감시 카메라 시스템과 관련 하드웨어·소프트웨어는 단일 기업이 만드는 것이 아닙니다. 수십억 달러 규모의 산업에서 수십 개 기업이 법 집행 기관의 계약을 두고 경쟁합니다. 이중 상당수 시스템은 중국 제조업체의 제품입니다. 결국 가장 저렴하면서 성능 좋은 기술을 확보하는 것이 업계의 관행입니다. 따라서 서로 다른 시스템 간의 보정 차이, 감시 결과 품질의 편차가 언제든 발생할 수 있습니다. 많은 카메라 감시 알고리즘은 단순한 기술적 역량 부족으로 유색인종의 이미지를 제대로 보정하지 못하며, 이는 인종 차별을 부추기는 요인이 됩니다.
안면인식을 통한 인종차별 문제는 애플의 페이스 잠금 기능에서도 발견되었습니다. 중국에서는 아이폰 X의 페이스 잠금 기능이 두 중국인 동료를 구분하지 못해 사실상 무용지물이 된 사례가 보도되었습니다. 두 흑인을 구분하지 못했다는 유사한 제보들도 있었지만 묵살되었습니다. 앞서 언급했듯 애플 기술팀의 흑인 비율은 고작 6%입니다. 안면인식 기술이 우리 손안의 기기에서조차 인종차별을 조장할 수 있음을 보여주는 명확한 사례입니다.
결론
네, 안면인식 기술은 인종차별적이며, 이제는 그것이 상식이 되었습니다. 기술이 매일 발전하며 이러한 문제를 해결하려 하지만 결과는 여전히 다르지 않습니다. 기술은 기술 발전과 성장이라는 공동의 목표로 세계를 하나로 묶어야 했지만, 어떤 기술들은 인종적·공동체적 화합에 오히려 상처를 내고 있습니다.
당분간 법 집행 당국이 할 수 있는 최선은 신뢰성조차 보장되지 않는 알고리즘 보정 결과를 사건의 근거로 삼지 않는 것입니다. 아울러 직장 내 다양성과 포용성을 진지하게 받아들이고, 모든 인종의 사람들이 함께 모여 인종적 격차 없는 제품을 만들어야 할 때입니다. 세상에는 수천 개의 인종이 있으며, 인류는 오랫동안 세계 사회를 괴롭혀 온 인종 갈등을 넘어서기 위해 노력해 왔습니다. 그 노력을 지속하려면, 우리가 깊이 의존하는 기계들에게도 똑같은 가치를 가르쳐야 합니다.