2,500만 달러를 쉽게 훔치는 AI 위조 위기를 어떻게 예방할 수 있을까요?

최근 몇 달 동안 인공지능이 잇따라 등장하면서 뉴스 헤드라인에서 인공지능이 회사 코드를 유출했는데 삭제할 수 없다, 인공지능 소프트웨어가 사용자의 얼굴 정보를 침해했다, 대형 모델 제품이 사적인 대화 유출에 노출되었다 ... 등의 단어를 자주 접하게 됩니다. ...등등.

그러나 더 심각한 문제는 빅모델 붐이 일기 훨씬 전부터 존재했던 것으로, 딥러닝을 이용해 실제 존재하지 않는 동영상이나 사진에 전 세계 모든 사람을 완벽하게 합성하는 '딥페이크'(Deepfake)라는 기술의 등장입니다. 딥페이크는 실제로는 존재하지 않는 동영상이나 사진 속 인물을 자연스럽게 합성하는 기술로, 2018년에는 'AI 얼굴 바꿔치기'라는 용어가 폭발적인 인기를 끌었습니다.

2024년 현재까지도 딥페이크의 잠재적 위협은 효과적으로 억제되지 않고 있습니다.

인공지능 사기는 현실이며 우려할 만한 원인입니다.

1995년 개봉한 애니메이션 영화 진격의 거인에서는 퍼피티어라는 인공지능이 다른 신분을 사칭하여 인간의 생각과 행동을 혼란스럽게 하고 통제하는 방법을 알고 있어 사이버 및 가상 공간에서 추적할 수 없는 능력을 가지고 있다는 줄거리가 묘사되어 있습니다. 이 능력은 사이버 및 가상 공간에서 추적이 불가능하게 만듭니다. 이런 시나리오는 영화에서만 보아왔지만, 엘론 머스크나 샘 앨트먼과 같은 사람들의 경고에 오랫동안 영향을 받아왔다면 AI를 방치할 경우 스카이넷과 같은 인류에 대한 위협으로 진화할 수 있다고 상상하는 것은 피할 수 없는 일입니다.

진격의 거인 퍼펫

감사하게도 이러한 우려는 AI 개발자 전체가 보편적으로 공유하는 것은 아닙니다. 튜링상 수상자인 조셉 시파키스와 같은 학계의 AI 거물들은 인터뷰를 통해 이 아이디어에 대한 경멸을 드러낸 바 있습니다. 현재로서는 인간의 지능을 따라잡기는커녕 도로에서 안전하게 운전할 수 있는 AI는 존재하지 않습니다.

그러나 그렇다고 해서 AI가 무해하다는 뜻은 아닙니다.

AI는 지금까지 만들어진 도구 중 가장 파괴적인 도구가 될 수 있는 잠재력을 가지고 있습니다. 최근 바다 건너가 아닌 우리와 매우 가까운 홍콩 특별행정구에서 AI 사기범에게 2,500만 달러의 사기를 당하는 불행을 겪은 한 금융권 임원의 사례를 통해 우리는 이를 너무나 잘 알고 있습니다. 이러한 유형의 AI 범죄에 대한 대응책이 있을까요?

Stealing the Sky

2월 5일 홍콩 언론 매체 RTHK에 따르면 다음과 같이 보도했습니다. 익명의 재무 책임자가 영국인 동료로부터 비밀 거래를 제안하는 이메일을 받았다고 홍콩의 RTHK가 보도했습니다. 재무 이사는 속기 쉬운 사람이 아니기 때문에 처음에는 피싱이라고 의심했습니다.

그러나 발신자는 Zoom 화상 회의를 주선하겠다고 고집했고, 홍콩 CFO는 회의에 참여하면서 익숙한 여러 동료의 얼굴과 목소리를 보고 들었습니다. 의심이 가라앉은 후 거래를 준비하기 시작했고, 영국인 동료의 지시에 따라 2억 홍콩달러(현재 약 1억 8400만 위안)를 현지 계좌 5곳에 15차례에 걸쳐 이체했습니다.

다른 직원이 본사에 확인한 후에야 이상 징후가 발견되었고, 영국 지사는 거래를 시작하지도 않았고 돈을 받지도 않았다는 사실이 밝혀졌습니다. 사기를 당했다는 사실을 알게 된 CFO의 후회와 죄책감을 상상해 보세요. 조사 결과, 화상 회의에 실제로 참여한 사람은 홍콩의 CFO뿐이고 나머지 참가자들은 딥페이크의 인공지능 기술로 시뮬레이션된 영국 CFO와 다른 동료들이었습니다.

소량의 공개된 데이터와 기본적인 인공지능 프로그램, 그리고 약간의 교묘한 속임수만으로 사기범들은 고급 슈퍼요트를 살 수 있을 만큼 거액의 현금을 가로채는 데 성공했다.

이 시점에서 이 이야기를 비웃으며 재무 책임자가 너무 어설펐다고 주장하는 사람들도 있을 수 있지만, Shake Shack과 YouTube에서 흔히 볼 수 있는 딥페이크 '라이브 동영상'은 너무 쉽게 발견할 수 있기 때문에 진짜로 속이는 것은 어렵지 않습니다.

그러나 최근 연구에 따르면 사람들이 실제로 딥페이크를 확실하게 인식할 수 없기 때문에 대부분의 사람들이 보고 듣는 것을 판단할 때 직관에만 의존하는 경우가 많다는 것을 의미하는 것처럼 현실은 그렇게 간단하지 않을 수 있습니다. 더욱 충격적인 사실은 사람들이 딥페이크 동영상을 가짜가 아닌 진짜로 착각할 가능성이 더 높다는 사실입니다. 즉, 오늘날의 딥페이크 기술은 시청자를 쉽게 속일 수 있을 만큼 정교합니다.

딥러닝 + 페이크

"딥페이크"라는 용어는 "딥러닝 + 페이크"> 기법을 말합니다. 딥페이크는 "딥러닝"과 "가짜"라는 단어의 합성어입니다.

따라서 딥페이크 기술의 핵심 요소는 머신러닝이며, 이를 통해 훨씬 저렴한 비용으로 빠르게 딥페이크 콘텐츠를 제작할 수 있습니다. 누군가의 '딥페이크' 동영상을 제작하기 위해 제작자는 먼저 해당 인물의 실제 동영상 클립을 대량으로 사용하여 신경망을 훈련시켜 다양한 각도와 조명 조건에서 인물의 외모를 사실적으로 '이해'합니다. 그런 다음 제작자는 훈련된 네트워크와 컴퓨터 그래픽 기술을 결합하여 인물의 복제본을 다른 사람에게 겹쳐 놓았습니다.

많은 사람들은 생성적 적대 신경망(GAN)이라는 딥러닝 알고리즘이 실제 얼굴과 거의 구별할 수 없는 얼굴 이미지를 생성하여 향후 딥페이크 기술의 주요 동력이 될 것으로 예상하고 있습니다. 딥페이크 분야에 대한 최초의 설문조사에서는 GAN에 대한 섹션을 할애하여 누구나 세련된 딥페이크 콘텐츠를 제작할 수 있게 될 것이라는 사실을 예고하고 있습니다.

2017년 말, '딥페이크'라는 Reddit 사용자는 유명 영화배우와 고위 인사들의 얼굴을 포르노 동영상에 사용했습니다. 포르노 동영상으로 변환하여 인터넷에 게시했습니다. 이러한 종류의 가짜 동영상은 소셜 네트워크에 순식간에 퍼졌고 그 이후로 수많은 새로운 딥페이크 동영상이 등장하기 시작했지만, 해당 탐지 기술은 몇 년이 지나서야 등장했습니다.

그러나 긍정적인 사례도 있습니다: 고인이 된 배우 폴 워커가 분노의 질주 7에서 부활하면서 관객들에게 딥페이크가 처음 알려졌고, 2023년 새해 전야 영화인 원더링 월드 2에 사용되었습니다. 2023년 중국 새해 영화 '방황하는 지구 2'에서도 CG 기술을 사용하여 인기 캐릭터인 '탯 아저씨' 우멍다를 재현했습니다. 하지만 과거에는 이러한 효과를 구현하는 데 전문가로 구성된 스튜디오 전체가 1년이 걸렸을 것입니다.

오늘날에는 그 어느 때보다 프로세스가 빨라져 기술에 대해 전혀 모르는 일반인도 몇 분 만에 'AI 얼굴 교체' 동영상을 만들 수 있습니다.

딥페이크에 대한 우려로 인해 이에 대한 반응이 급증했습니다. 2020년에 Meta와 X를 비롯한 소셜 미디어 플랫폼은 네트워크에서 유사한 딥페이크 제품을 금지했습니다. 또한 주요 컴퓨터 비전 및 그래픽 컨퍼런스 무대에 전문가들이 초청되어 방어 방법에 대해 강연했습니다.

딥페이크 범죄자들이 전 세계를 대상으로 대규모 사기 행각을 벌이기 시작한 지금, 우리는 어떻게 대응할 수 있을까요?

딥페이크의 위험으로부터 방어하기 위한 멀티 툴

무엇보다 우선적으로 딥페이크에 대한 방어 전략을 세워야 합니다. 전략은 AI를 '독살'하는 것입니다. 공격자가 사실적인 딥페이크를 만들려면 표적의 수많은 사진, 표정 변화를 보여주는 수많은 비디오 클립, 선명한 음성 샘플 등 방대한 양의 데이터가 필요합니다. 대부분의 딥페이크 기법은 개인이나 기업이 소셜 미디어에서 공개적으로 공유하는 자료를 활용합니다.

그러나 이제는 사람의 인식에 영향을 주지 않고 이러한 파일을 수정할 수 있는 Nightshade 및 PhotoGuard와 같은 프로그램이 등장하여 딥페이크의 효과를 무력화할 수 있습니다. 예를 들어, 나이트셰이드는 잘못된 처리를 통해 AI가 사진 속 얼굴 영역을 잘못 식별하도록 유도하며, 이러한 잘못된 식별은 딥페이크의 구성 이면에 있는 AI 학습 메커니즘을 정확하게 방해할 수 있습니다.

둘째, 사용자 또는 조직이 온라인에 게시하는 모든 사진과 동영상에 대해 이러한 유형의 보호를 적용하면 딥페이크 복제를 효과적으로 방지할 수 있습니다. 그러나 이 접근 방식은 완벽한 방법은 아니며, 끊임없는 싸움에 가깝습니다. AI가 변조된 파일을 인식하는 능력이 향상됨에 따라, 딥페이크 방지 프로그램은 새로운 방법을 개발해야만 효과를 유지할 수 있습니다.

더 강력한 방어를 구축하려면 쉽게 뚫리는 인증 방식에 의존하는 것에서 벗어나야 합니다. 이 사례의 경우, 문제의 재무 책임자는 영상 통화를 본인 확인의 절대적인 수단으로 생각했지만 본사나 영국 지사의 다른 사람에게 전화하여 2차 인증을 받는 등의 추가 조치를 취하지 않았습니다. 실제로 일부 프로그램에서는 이미 온라인 인증의 신뢰성을 보장하기 위해 개인 키 암호화를 활용하고 있습니다. 이러한 유형의 사기 가능성을 크게 줄이기 위해 여러 인증 단계를 도입하는 것은 모든 조직이 즉시 시행해야 할 사항입니다.

따라서 다음에 화상 회의를 하거나 동료, 친구, 가족으로부터 전화를 받을 때는 화면 반대편에 있는 사람이 실제 사람이 아닐 수도 있다는 점을 염두에 두어야 합니다. 특히 들어본 적 없는 낯선 은행 계좌로 2,500만 달러를 몰래 이체해 달라는 요청을 받는다면 상사에게 먼저 전화하는 것이 최소한의 도리입니다.