인공지능(AI) 분야에서 활동하는 대다수 연구자들이 자신의 AI 모델을 학습시키는 데 사용한 소스 코드를 공개하지 않는 것으로 드러났습니다. 이 때문에 다른 과학자들은 연구 결과를 그대로 재현하거나 이를 바탕으로 후속 연구를 진행하는 데 큰 어려움을 겪고 있습니다.
쉽게 말해, 급성장하고 있는 인공지능 분야는 '재현성 위기(replication crisis)'에 직면해 있는 것입니다. 일반인에게는 크게 와닿지 않을 수 있지만, AI를 사랑하는 사람들에게 이는 그야말로 재앙에 가깝습니다. 그렇다면 왜 연구의 재현과 검증이 필요할까요?
재현(Replication)이란 무엇일까?
연구자가 특정 모델, 소프트웨어, 알고리즘 또는 연구 자료를 다시 추적하고 검증할 수 있는 과정을 재현이라고 합니다. 그런데 AI 분야에서는 이 작업이 전문가들에게조차 만만치 않은 고된 일이 되면서 예외적인 상황이 벌어지고 있습니다. 검증이 불가능하다면 언젠가 우리는 교착 상태에 빠질 수밖에 없습니다.
왜 재현과 검증이 중요한가?
흔히 생각하는 것과 달리 재현에는 분명한 장점이 있습니다. 기존 결과를 손쉽게 확인하고 새로운 패러다임을 제안할 수 있기 때문입니다. 자동화 분야 연구자들은 이러한 과정 덕분에 기존 기계를 쉽게 수정·개선할 수 있었고, 눈부신 발전을 이뤄냈습니다.
그렇다면 AI 연구를 재현하는 것이 가능할까요? 우리의 답은 명확합니다. "아니요, 불가능합니다."
연구자들은 보통 소스 코드를 공유하지 않습니다. 프랑스 국립 정보학 및 자동화 연구소(INRIA)의 계산 신경과학자 니콜라 루기에(Nicolas Rougier)에 따르면, 외부인들은 어떤 엄격한 규칙만 따르면 원하는 결과를 얻을 수 있다고 생각하지만, 실제 현장에서 일하는 사람들은 그 이면의 치열한 시행착오를 잘 알고 있습니다.
물론 소스 코드를 공개하지 않는다고 해서 누군가를 탓할 일은 아닙니다. 코드가 회사의 저작권 보호 대상일 수도 있고, 연구자가 해당 분야의 최초 발표자가 되고자 하는 경우도 있기 때문입니다. 하지만 문제는 소프트웨어나 기계가 머신러닝 알고리즘으로 구동될 때 훨씬 복잡해집니다. 이런 기계들은 경험과 다양한 시뮬레이션을 통해 스스로 학습하기 때문에, 두 대의 기계가 절대 동일하게 작동하지 않습니다. 극히 드문 경우로 소스 코드를 입수하더라도, 기계를 같은 방식으로 학습시키지 않는 한 원하는 결과를 얻을 수 없습니다.
사실 이것조차 어디까지나 가정에 불과합니다. 애초에 기계가 학습될 당시의 방법론을 알아낼 수 없기 때문입니다. 문서에 정의된 샘플 공간 전체, 혹은 가능한 모든 조건에서 알고리즘을 검증할 여유를 가진 사람은 없습니다. 바로 이런 이유로 AI 프로젝트는 일반적인 기계나 프로젝트보다 설계와 개발에 훨씬 더 많은 시간이 걸립니다.
이 문화를 바꾸지 않는 한, AI 산업의 기하급수적 성장은 요원한 꿈으로 남을 수밖에 없다는 사실은 부정할 수 없습니다.
비공개 문화가 최선일까?
전문가들은 안전과 인류의 존재를 지키기 위해 코드는 비밀로 유지되거나 선별된 소수와만 공유돼야 한다고 말합니다. 하지만 소스 코드를 공유받은 이들이 이를 악용하지 않으리라는 보장은 무엇일까요? 이를 판별하기 위해 머신러닝 알고리즘을 설계하면 되지 않겠냐고 생각할 수도 있습니다. 그러나 안타깝게도 인간의 행동까지 감지할 만큼 발전한 기술은 아직 등장하지 않았습니다. 따라서 인간의 행동을 알고리즘에만 맡길 수는 없습니다.
그럼 이제 무엇을 해야 할까?
이런 개념들을 투명하게 공개하면 논란이 줄어들 거라고 생각할 수 있지만, 정반대로 이는 재앙이나 다름없습니다. 테러리스트와 제정신이 아닌 자들이 역설계를 통해 대량 파괴 무기를 만드는 데 악용할 수 있기 때문입니다. 우리가 제안할 수 있는 방법은 의료 산업처럼 알고리즘 심사위원회를 구성하는 것입니다. 의약품이 시험을 통과하고 승인되기 전까지 성분을 공개하지 않듯이, 인공지능 기계에도 동일한 절차를 적용한다면 예상되는 우려만큼 상황이 끔찍해지지는 않을 것입니다.
또한 저작권법 뒤에 숨기보다 협력의 길을 택하는 것이 더욱 생산적일 수 있습니다. 결국 기억해야 할 핵심은 기계 자체에는 편견이 없다는 점입니다. 만약 '심판의 날'이 실제로 온다면 우리 모두 위험에 처하게 됩니다. 함께 협력하고, 지도 학습(supervised learning)을 적극 활용하는 것이 남은 유일한 해결책입니다.
결론
우리는 AI 연구를 재현할 수 없지만, 놀랍게도 기계는 가능합니다. 2017년 말, 우리는 한 AI가 또 다른 AI를 만들어내는 장면을 목격했습니다. 구글이 진행한 'AutoML' 프로젝트로, AI가 AI를 개발하는 이 성과는 인공지능 산업의 차세대 도약으로 평가받았습니다. 물론 축하할 일이지만, 그 이면에서 중요한 사실 하나를 간과하고 있습니다. 개발이 자동화될수록 소프트웨어는 인간이 이해하기 훨씬 어려운 복잡성을 띠게 된다는 점입니다.
이런 흐름이 계속된다면 인간의 개입 없이 기계가 스스로를 창조하는 날도 멀지 않았습니다. 위험하다고 생각하십니까? 저희는 그렇다고 봅니다. 우리가 연구를 되짚느라 정신이 없는 사이, 기계들이 자신들의 복제본을 만들어내고 있을지도 모릅니다. 여러분의 눈을 크게 뜨세요!
만약 다른 의견이 있거나 이 주제에 대해 나누고 싶은 생각이 있다면, 아래 댓글로 남겨주세요!