충분한 원본 이미지만 확보되면 조던 필을 오바마 대통령으로, 지미 폴런을 존 올리버로, 존 스노우를 실망한 '왕좌의 게임' 팬들의 대변인으로 둔갑시키는 일은 생각보다 어렵지 않습니다. 초창기 딥페이크는 잡아내는 것이 크게 어렵지 않았습니다. 가장 정교한 작품조차 흐릿함, 왜곡, 낯설게 느껴지는 얼굴의 미세한 차이 같은 시각적 단서를 남겼고, 그래서 어딘가 '어색해 보였습니다.'
하지만 이것은 고양이와 쥐의 추격전입니다. 우리가 탐지 방법 하나를 익힐 때마다 다음 세대의 딥페이크는 그 결함을 보완해 왔습니다. 그렇다면 어떤 영상이 우리를 속이려 하는지 알아낼 신뢰할 만한 해결책은 없을까요?
시각적 단서
'아티팩트(artifact)'는 인디애나 존스가 박물관에 보내는 유물만을 의미하지 않습니다. 이미지나 영상이 조작된 뒤 남겨지는 작은 이상 징후를 가리키기도 합니다. 초기 딥페이크에서는 이런 아티팩트를 육안으로도 발견할 수 있는 경우가 많았고, 지금도 저품질 딥페이크에는 윤곽선 주변의 흐릿함, 과도하게 매끈한 얼굴, 겹쳐 보이는 눈썹, 글리치, 얼굴이 전반적으로 '부자연스럽게' 맞아떨어지는 느낌 등 몇 가지 경고 신호가 남아 있습니다.
다만 대체로 기술은 이제 육안으로는 보이지 않는 수준까지 발전했습니다. 영상 데이터를 샅샅이 훑으며 픽셀 단위로 검사하는 별도의 알고리즘에만 아티팩트가 드러납니다. 일부 기술은 꽤 독특한데, 예컨대 코가 향하는 방향과 얼굴 전체가 향하는 방향이 일치하는지 검사하는 기법도 있습니다. 인간이 포착하기엔 너무 미세한 차이지만, 기계는 의외로 이런 작업에 능숙합니다.
생체 신호 단서
잠시 동안 딥페이크의 약점은 '비자연스러운 눈 깜빡임'이라는 분석이 힘을 얻었습니다. 눈을 감은 모습의 원본 이미지가 상대적으로 드물었기 때문입니다. 그러나 다음 세대 딥페이크 기술은 곧바로 자연스러운 깜빡임을 구현했고, 이 방식의 효과는 빠르게 사라졌습니다.
그럼에도 완전히 뚫리지 않은 생체 지표들이 남아 있습니다. 사용 중인 언어에 대한 문맥적 이해가 필요하기 때문에 알고리즘이 쉽게 자동화하지 못하는 개인의 습관들입니다. 놀랐을 때 눈을 빠르게 깜빡이거나 질문할 때 눈썹을 치켜 올리는 사소한 버릇은 딥페이크가 모방할 수 있지만, 언제 해당 동작을 취해야 하는지 (아직) 자동으로 판단하지 못하므로 적절한 순간에 나타나지 않을 수 있습니다.
AI가 영상만으로 심장 박동을 읽어내는 기술은 딥페이크 탐지 외에도 활용처가 많지만, 심박수를 나타내는 주기적인 움직임과 피부색의 미세한 변화를 추적하면 AI가 생성한 가짜를 식별하는 데 도움이 됩니다. 가장 뚜렷한 단서는 심장 박동이 전혀 없는 딥페이크지만, 실제로는 맥박이 존재하는 딥페이크도 많습니다. 그럼에도 얼굴의 서로 다른 부위가 서로 다른 심박수를 보이는 등의 불규칙성은 여전히 가짜를 가려내는 데 유용합니다.
AI 프로젝트
딥페이크 문제 해결에 관심을 두고 있는 빅네임들은 많습니다. 페이스북, 구글, MIT, 옥스포드, 버클리를 비롯해 수많은 스타트업과 연구자들이 위에서 소개한 방법들을 활용해 가짜 영상을 식별하도록 인공지능을 학습시키며 이 문제에 맞서고 있습니다.
페이스북과 구글이 공동으로 추진 중인 작업 중 하나는 배우가 다양한 행동을 하는 고화질 영상 데이터셋을 구축하고, 이를 바탕으로 딥페이크를 제작하는 것입니다. 이 데이터로 학습된 AI는 딥페이크의 특징적인 흔적이 무엇인지 스스로 파악한 뒤 탐지 임무를 수행하게 됩니다.
물론 연구자들이 최신 기술로 계속 딥페이크를 생성하는 범위 안에서만 작동하기 때문에, 새로운 딥페이크 기법이 등장한 시점과 알고리즘이 이를 잡아낼 수 있게 되는 시점 사이에는 항상 약간의 시차가 존재합니다. 다행히 실제 쥐를 훈련해 딥페이크를 식별하는 실험이 성공적으로 마무리된다면, 인류에게 유리한 무기를 하나 더 쥐여줄지도 모릅니다.
인증
그러나 탐지 기술만으로는 딥페이크에 대한 완벽한 답이 되지 못합니다. 100% 성공률을 기대하기 어렵기 때문입니다. 시간과 비용을 충분히 투입한 딥페이크는 수많은 검증 절차와 현재의 AI 방식조차 통과할 수 있습니다. 그리고 인터넷의 작동 방식을 떠올려야 합니다. 가짜가 걸러져도 결국 일부 사람들 사이에서 재유포되고 믿음을 얻을 가능성이 높다는 점입니다.
그렇기에 어떤 형태의 검증 메커니즘 역시 중요합니다. 어떤 영상이 원본인지 증명하거나, 영상이 수정되었는지 표시할 수 있는 장치 말입니다. Factom, Ambervideo, Axiom 같은 기업들은 영상 관련 데이터를 변경 불가능한 블록체인에 기록하는 방식으로 이를 구현하고 있습니다.
이러한 프로젝트의 기본 아이디어는 영상 파일에 담긴 데이터나 특정 카메라가 생성한 정보를 활용해 고유한 서명을 만들고, 영상이 조작되면 이 서명이 함께 변경되도록 하는 것입니다. 장기적으로는 소셜 미디어에 업로드되는 영상에 인증 코드를 생성하는 옵션이 제공되고, 최초 업로더가 블록체인에 이를 등록해 자신이 원본 소유자임을 증명할 수 있게 될 것입니다.
물론 이런 해결책에도 한계는 있습니다. 예를 들어 영상 인코딩 과정에서 파일 내 데이터가 변경되어 실제 내용은 그대로인데도 서명이 달라지거나, 정당한 영상 편집이 서명을 무효화하는 경우입니다. 그럼에도 배송 증명이나 투자 유치에 이미지가 활용되는 상거래처럼 중대한 상황에서는 이러한 인증 계층이 딥페이크 관련 사기를 예방하는 데 실질적인 도움이 될 수 있습니다.
딥페이크는 포토샵보다 더 위험할까?
지금 우리는 정지 이미지 속 거의 모든 것을 진짜처럼 만들어내는 기술이 존재한다는 사실을 잘 알기에, 사진이 진짜가 아닐 수 있다고 자연스럽게 가정합니다. 언젠가 영상 조작이 현재 포토샵이 이미지 편집을 쉽고 설득력 있게 만들어 주는 것처럼 간편해지면, 우리는 영상에도 같은 회의적 시선을 갖게 될지 모릅니다. 하지만 이런 일반적인 인식이 있다 해도, 머지않은 미래에 적절한 타이밍에 공개된 고화질 딥페이크 하나로 시작되는 실제 사건들이 벌어질 가능성은 충분히 상상할 수 있습니다.