2021년 8월, 애플은 아이폰에 저장된 사진 중 아동 성착취물(CSAM)로 의심되는 이미지를 자동으로 검사하겠다는 계획을 발표했습니다. 이 발표는 아동 보호 단체들의 환영을 받았지만, 프라이버시와 보안 전문가들 사이에서는 해당 기능이 악용될 수 있다는 우려를 낳았습니다.
애플은 원래 iOS 15에 CSAM(아동 성착취물) 탐지 기술을 포함할 계획이었으나, 정식 출시 전 충분한 피드백을 수집하기 위해 해당 기능의 도입을 무기한 연기했습니다.
그렇다면 CSAM 탐지 기능은 왜 뜨거운 논쟁거리가 되었고, 애플은 어떤 이유로 출시를 미루게 된 것일까요?
애플의 사진 스캔 기능은 어떤 역할을 하나요?
애플은 아동 성착취 근절을 목표로 사진 스캔 기능 도입을 발표했습니다. 애플 사용자 기기에 저장된 모든 사진은 애플이 개발한 'NeuralHash' 알고리즘을 통해 검사되며, 아동 성착취물로 판단된 이미지는 별도 표식이 됩니다.
또한 어린이가 사용하는 애플 기기에는 안전 기능이 적용됩니다. 자녀가 성인용 이미지를 수신하면 자동으로 흐림 처리되며, 열려고 시도할 경우 두 차례 경고가 표시됩니다.
성인 콘텐츠 노출 최소화 외에도, 부모가 자녀 기기를 추가 안전 옵션으로 등록하면 자녀가 온라인에서 선정적인 콘텐츠를 받았을 때 부모에게 알림이 전송됩니다.
Siri에도 변화가 적용됩니다. 아동을 성적으로 대상화하는 검색어를 입력하면 Siri는 해당 검색을 수행하지 않고 다른 대안을 제시합니다.
알고리즘이 의심스러운 사진 10장 이상을 담고 있다고 판단한 기기의 데이터는 복호화된 후 사람이 직접 검토하게 됩니다.
검토 결과 해당 사진 또는 기기 내 다른 사진이 미국 국립실종·착취아동센터(NCMEC) 데이터베이스와 일치하는 것으로 확인되면 당국에 신고되고, 사용자 계정은 정지됩니다.
사진 스캔 기능에 대한 주요 우려
CSAM 탐지 기능은 원래 2021년 9월 iOS 15와 함께 출시될 예정이었지만, 거센 반발 여론에 직면하자 애플은 더 많은 시간을 들여 피드백을 수집하고 기능을 개선하기로 결정했습니다. 애플의 공식 입장은 다음과 같습니다.
"지난달 우리는 소통 도구를 이용해 아동을 유인하고 착취하는 범죄자로부터 아동을 보호하고, 아동 성착취물의 확산을 제한하기 위한 기능들을 발표했습니다.
고객, 옹호 단체, 연구자 등 다양한 이해관계자들의 피드백을 바탕으로, 우리는 향후 몇 달간 추가 시간을 들여 의견을 수집하고 개선 작업을 진행한 후 이러한 매우 중요한 아동 보호 기능을 출시하기로 결정했습니다."
애플의 사진 스캔 기능에 대한 우려의 절반 가까이는 프라이버시 문제와 관련이 있으며, 나머지 논거에는 알고리즘의 부정확성 가능성과 시스템 악용 또는 허점 가능성이 포함됩니다.
주요 우려 사항을 네 가지로 나눠 살펴보겠습니다.
1. 오남용 가능성
아동 음란물 또는 알려진 아동 성착취 이미지와 일치하는 자료가 있으면 기기가 '의심' 목록에 올라간다는 사실을 알게 되면 사이버 범죄자들이 움직일 수 있습니다.
범죄자는 iMessage, WhatsApp 등 다양한 경로로 특정인에게 고의로 부적절한 콘텐츠를 대량 전송해 그 사람의 계정을 정지시킬 수 있습니다.
애플은 오해로 인해 계정이 정지된 경우 사용자가 이의를 제기할 수 있다고 밝혔습니다.
2. 내부자 및 지인에 의한 남용
선의의 목적으로 설계된 기능이라도, 특정인의 기기가 본인의 동의나 인지 없이 감시를 원하는 친족에 의해 시스템에 등록된다면 그들에게는 재앙이 될 수 있습니다.
설령 그런 일이 없더라도, 애플은 결국 사용자 데이터에 접근할 수 있는 통로를 만든 셈입니다. 이제 남은 것은 타인의 개인정보에 접근하려는 동기와 결의일 뿐입니다.
이는 대규모 프라이버시 침해를 조장할 뿐 아니라, 통제적이거나 독성적인 친족, 보호자, 친구, 연인, 간병인, 전 배우자 등이 누군가의 개인 공간을 더 깊이 침해하거나 자유를 제약하는 길을 열어줍니다.
한편으로는 아동 성착취 근절을 위한 것이지만, 다른 한편으로는 다른 형태의 학대를 지속시키는 도구로 악용될 수 있는 것입니다.
3. 정부 감시
애플은 항상 경쟁사보다 프라이버시를 중시하는 브랜드임을 내세워 왔습니다. 하지만 이번 기능으로 인해 정부의 끝없는 사용자 데이터 투명성 요구를 들어줘야 하는 미끄러운 비탈길에 들어섰다는 지적이 나옵니다.
아동 성착취 콘텐츠를 탐지하기 위해 만든 시스템은 휴대폰 속 어떤 종류의 콘텐츠든 탐지하는 데 활용될 수 있습니다. 즉, 권위주의적 성향의 정부가 이 시스템을 손에 넣으면 사용자를 훨씬 개인적인 수준에서 감시할 수 있게 됩니다.
억압적이든 아니든, 정부가 일상과 개인 생활에 개입하는 것은 불안감을 주며 명백한 프라이버시 침해입니다. '잘못한 일이 없다면 걱정할 필요 없다'는 생각은 잘못된 사고방식이며, 앞서 언급한 미끄러운 비탈길을 간과합니다.
4. 오탐(False Alarm)
알고리즘으로 사진을 데이터베이스와 대조하는 방식의 가장 큰 우려 중 하나는 오탐입니다. 해싱 알고리즘은 서로 다른 두 사진을 동일한 것으로 잘못 판별할 수 있습니다. 이런 오류를 '충돌(collision)'이라 부르는데, 아동 성착취 콘텐츠 맥락에서는 특히 심각한 문제입니다.
연구진은 애플이 'NeuralHash' 알고리즘을 이미지 스캔에 사용하겠다고 발표한 후 여러 충돌 사례를 발견했습니다. 애플은 오탐 관련 질문에 대해 최종 결과는 사람이 검토하므로 걱정할 필요가 없다고 답했습니다.
애플의 CSAM 중단은 영구적일까?
애플이 제안한 기능에는 찬반 논거가 모두 존재하며, 각각 실질적인 무게를 지닙니다. 비판자들을 만족시키기 위해 애플이 CSAM 스캔 기능에 구체적으로 어떤 변경을 가할지는 아직 불명확합니다.
사용자 기기 전체가 아닌 공유 iCloud 앨범으로만 스캔 범위를 제한할 가능성도 있습니다. 다만 평소 계획을 쉽게 철회하지 않는 애플의 성향상 이 계획을 완전히 접을 가능성은 낮아 보입니다.
그러나 광범위한 반발과 애플의 계획 보류에서 분명히 드러나는 교훈이 있습니다. 기업들은 특히 검증되지 않은 기술을 도입할 때 처음부터 연구 커뮤니티를 참여시켜야 한다는 점입니다.