카멜레온과 함께 멀티모달 분야에 진출한 메타의 AI
Facebook의 모기업인 Meta는 가장 진보된 멀티모달 AI 모델 경쟁에서 자체적인 경쟁자를 내세우고 있습니다.
대규모 언어 모델은 인상적이긴 하지만 텍스트 처리에만 국한되어 있습니다. 멀티모달 AI는 텍스트뿐 아니라 이미지, 사운드 녹음, 심지어 동영상까지 이해하고 생성할 수 있다는 점에서 한 단계 더 발전했습니다.
이 문제에 대한 메타의 해답은 '조기 융합' 접근 방식을 활용하는 멀티모달 모델인 카멜레온입니다. 즉, 다양한 형태의 데이터를 개별적으로 처리하는 이전의 '후기 융합' 기법과 달리 카멜레온은 텍스트, 이미지, 심지어 코드까지 모든 데이터를 단일 엔터티로 취급합니다.
이를 위해 카멜레온 팀은 대규모 언어 모델에서 단어가 처리되는 방식과 유사하게 모든 데이터를 공통 토큰 집합으로 변환하는 시스템을 개발했습니다.
이를 통해 결합된 데이터에 강력한 컴퓨팅 기술을 적용하여 복잡한 정보를 보다 포괄적으로 이해할 수 있습니다.
카멜레온의 주요 장점 중 하나는 엔드투엔드 모델이라는 점입니다. 즉, 처음부터 끝까지 멀티모달 데이터를 이해하고 생성하는 전체 프로세스를 처리합니다.
카멜레온을 개발한 연구원들은 모델이 이렇게 다양한 토큰 유형을 다룰 수 있도록 특별한 훈련 기법도 구현했습니다.
여기에는 2단계 학습 과정과 멀티모달 학습을 위해 특별히 설계된 방대한 데이터 세트가 포함되었습니다. 그런 다음 고속 GPU에서 무려 5백만 시간 동안 시스템을 미세 조정했습니다.
테스트 결과 카멜레온은 멀티모달의 강자임을 입증했습니다. 이미지 캡션과 같은 작업에서 최첨단 성능을 발휘하며, 심지어 메타의 이전 텍스트 전용 모델을 능가합니다.
경우에 따라 카멜레온은 OpenAI의 GPT-4 및 Meta의 자체 Gemini Pro와 같은 훨씬 더 큰 모델과 비슷하거나 더 뛰어난 성능을 발휘하여 단일 통합 프레임워크 내에서 인상적인 다목적성을 입증하기도 합니다.
싱가포르 저널리스트와 메타 AI의 만남
최근 싱가포르 스트레이츠 타임즈의 기자 오스몬드 치아는 ChatGPT와 구글의 제미니에 대항하기 위해 설계된 새로운 챗봇인 메타 AI를 사용하면서 당황스러운 경험을 했습니다.
이러한 대규모 언어 모델의 기능에 흥미를 느낀 Chia는 "오스몬드 치아는 누구입니까?"라는 간단한 질문으로 메타 AI를 테스트하기로 결정했습니다;
그가 받은 반응은 충격 그 자체였습니다.
메타 AI는 치아를 2016년부터 2020년까지 성폭행 혐의로 수감된 싱가포르 사진작가로 묘사하는 등 정교한 배경 스토리를 조작했습니다.
조작된 이야기에는 장기간의 재판, 다수의 피해자, 광범위한 대중의 분노에 대한 세부 정보가 포함되어 있었습니다.
더 깊이 파고들면 결함이 드러나는 데이터 통합
잘못된 정보에 당황한 치아는 메타 AI에 자세한 내용을 문의했습니다. 챗봇은 더 스트레이츠 타임즈를 출처로 인용하며 조작된 내러티브를 유지했습니다.
이 세부 사항으로 인해 Chia는 Meta AI가 법원 사건을 다루는 기사에서 자신의 바이라인을 잘못 해석했을 수 있다고 생각했습니다.
오류를 신고하고 해당 정보가 명백히 잘못된 것임을 지적했음에도 불구하고 메타 AI는 계속해서 동일한 부정확한 응답을 반환했습니다. 이로 인해 챗봇의 기본 알고리즘과 데이터 통합 방식에 대한 우려가 제기되었습니다.
검색 증강 세대(RAG)의 문제
전문가들은 메타 AI의 오작동이 검색 증강 세대(RAG)라는 기술에서 비롯된 것으로 보고 있습니다. RAG는 챗봇이 인터넷에서 방대한 양의 정보에 액세스하고 처리하여 보다 관련성 높은 응답을 제공할 수 있도록 합니다.
하지만 Chia의 경우 RAG가 역효과를 낸 것 같습니다.
메타 AI는 Chia의 바이라인과 기사 내용을 정확하게 분석하는 대신 헤드라인이나 키워드를 잘못 해석하여 조작된 내러티브로 이어졌을 수 있습니다.
이 사건은 적절한 안전장치와 사실 확인 메커니즘을 갖추지 않았을 때 RAG의 잠재적 함정을 잘 보여줍니다.
챗봇과 잘못된 정보의 확산
Chia의 경험은 고립된 사건이 아닙니다.
2023년 4월, ChatGPT는 법학 교수를 성희롱으로 허위 고발한 혐의로 기소되었습니다. 마찬가지로 에어캐나다 챗봇이 부정확한 정보를 제공하여 항공사 측이 법정 소송에서 패소한 사례도 있었습니다.
이러한 사례는 잘못된 정보를 제공할 수 있는 잠재적 벡터로서 챗봇의 위험성을 보여줍니다. 이러한 AI 시스템에 책임을 묻기가 어렵다는 점도 문제를 더욱 복잡하게 만듭니다.
기존 미디어 플랫폼과 달리 챗봇의 부정확한 응답의 도달 범위를 추적할 방법이 없기 때문에 명예훼손을 입증하거나 기업에 책임을 묻기가 어렵습니다.
사용자 주의 또는 AI의 책임?
Meta와 같은 회사는 종종 이용 약관에 면책 조항을 두어 정보 확인의 책임을 사용자에게 전가하는 방식으로 자신을 보호합니다.
그러나 이것은 수수께끼를 낳습니다.
챗봇은 신뢰할 수 있는 정보 소스로 홍보되지만, 사용자는 모든 답변을 직접 확인해야 합니다. 이러한 모순은 이러한 시스템의 진정한 목적에 대한 의문을 제기합니다.
법적 분쟁에 드는 높은 비용을 고려할 때 대부분의 사용자는 플랫폼 자체에 잘못된 정보를 신고하는 방법을 택할 가능성이 높습니다. 하지만 이러한 접근 방식의 효과는 아직 지켜봐야 합니다.
메타의 AI 책임자, 인간 수준의 지능을 달성하는 대규모 언어 모델에 의구심 던져
Meta의 선도적인 인공 지능 과학자인 얀 르쿤은 ChatGPT와 같은 대규모 언어 모델(LLM)이 진정한 인간과 같은 지능을 달성할 수 있을 것이라는 생각에 찬물을 끼얹었습니다.
르쿤은 파이낸셜 타임즈와의 인터뷰에서 이러한 모델에는 인간 수준의 이해와 추론에 도달하지 못하게 하는 몇 가지 중요한 한계가 있다고 주장했습니다.
르쿤에 따르면, LLM은 물리적 세계에 대한 근본적인 이해가 부족합니다. 그들은 지속적인 기억력이 없기 때문에 인간처럼 과거 경험을 학습하고 이를 바탕으로 구축할 수 없습니다.
또한 르쿤은 LLM은 진정한 추론이나 계층적 계획이 불가능하다고 주장합니다.
그는 이러한 모델은 제공된 특정 학습 데이터에 크게 의존하며, 해당 데이터의 매개변수에 따라 응답이 제한된다는 점을 강조합니다.
LeCun에 따르면, 이는 오해의 소지가 있거나 잘못된 출력을 생성하도록 쉽게 조작할 수 있기 때문에 '본질적으로 안전하지 않다'고 합니다.
메타의 자체 제품도 비슷한 문제에 직면한 사례가 아닌가요? LeCun은 자신의 제품이 직면한 바로 그 문제를 의도치 않게 강조하고 있는 것일까요?
LLaMa와 수익화 챌린지
메타의 접근 방식은 AI 커뮤니티에서 큰 주목을 받고 있는 LLaMa와 같은 오픈 소스 AI 프로젝트에 의존하고 있습니다. 그러나 이러한 프로젝트는 아직 직접적인 수익원으로 이어지지는 않았습니다.
희망은 메타의 방대한 AI 인프라에 있으며, 이를 통해 이 분야에서 글로벌 리더십을 확보할 수 있는 길을 열 수 있을 것으로 기대하고 있습니다.
특히, 과거에는 '메타버스' 프로젝트에 대한 조롱의 대상이 되었던 막대한 자본 지출이 이제는 AI 개발의 잠재적 역할로 인해 호의적으로 받아들여지고 있습니다.
Meta와 경쟁사의 주요 차이점 중 하나는 AI 수익화 전략입니다. Meta는 대규모 AI 모델에 대한 액세스 권한을 유료화하기 시작했지만, 기술의 상당 부분은 여전히 무료로 사용할 수 있습니다.
이 접근 방식은 페이스북, 인스타그램, 스레드, 왓츠앱 등 소셜 미디어 플랫폼의 규모를 활용하여 간접적으로 수익을 창출하는 것을 목표로 합니다.
기본적으로 Meta는 AI를 쉽게 이용할 수 있는 상품으로 만들어 생태계 내에서 더 많은 사용자와 상호작용을 유도함으로써 궁극적으로 더 가치 있는 광고 플랫폼으로 거듭나기를 희망합니다.
게리 마커스와 LLM 회의론
그러나 이러한 낙관적인 전망은 게리 마커스와 같은 저명한 인사들의 회의론에 의해 도전을 받고 있습니다. Marcus는 LLM이 과대평가되고 오류가 발생하기 쉽다고 주장합니다.
그는 현재 인공지능을 둘러싼 열기가 '불신의 정지'를 의미하며, 신경심리학적 인공지능과 같은 대안적 접근 방식이 더 큰 가능성을 가지고 있다고 믿습니다.
신경 기호 AI는 인간 두뇌의 기능을 모방하려는 시도로, 마커스는 이 개념이 연구자들에 의해 조기에 포기되었다고 생각합니다.
간단히 말해서, Marcus는 LLM이 기본적인 고객 서비스 상호작용은 처리할 수 있지만 복잡한 상황에 대처할 수 있는 능력이 부족하다고 말합니다.
까다로운 고객과 마주할 때 기업은 여전히 사람의 개입을 필요로 할 것입니다. 이러한 회의론이 주류가 되면 메타의 투자자들은 상당한 손실을 입을 수 있습니다.
르쿤의 비전: LLM에서 월드 모델링 AI로 초점 전환
르쿤의 관점은 현재 LLM 기술에 대한 투자 물결과는 대조적입니다.
많은 기업이 인간의 능력을 능가하는 수준의 기계 지능인 인공 일반 지능(AGI)을 달성하기 위해 더욱 정교한 LLM 개발에 자원을 쏟아붓고 있습니다.
하지만 르쿤은 다른 접근 방식을 제안합니다. 메타의 AI 연구소에서 그와 그의 팀은 '세계 모델링'을 기반으로 하는 차세대 AI 시스템을 연구하고 있습니다;
이 접근 방식은 인간이 학습하고 환경과 상호 작용하는 방식과 유사하게 주변 세계를 이해할 수 있는 AI를 만드는 것을 목표로 합니다.
이러한 접근 방식은 AI의 미래에 대한 가능성을 제시하지만, LeCun은 장기적인 비전으로 결실을 맺는 데 10년 이상이 걸릴 수 있음을 인정합니다.
메타의 광고 강국
AI를 둘러싼 불확실성에도 불구하고, 메타는 디지털 광고 환경에서의 우위라는 강력한 이점을 가지고 있습니다.
다양한 플랫폼에서 사용자를 타겟팅할 수 있는 독보적인 능력에 힘입어 광고 수익은 계속해서 급증하고 있습니다.
이 기능을 통해 메타는 기존 콘텐츠 기반 광고에 비해 낮은 비용으로 관련성 높은 광고를 노출할 수 있습니다.
기본적으로 메타는 전 세계 무료 통신 네트워크로 자리매김했습니다. 방대한 인프라를 통해 무료 통화와 메시징이 가능하며, 전적으로 광고 수익으로 운영됩니다.
이 모델은 대화와 온라인 상호 작용을 기반으로 잠재 고객을 연결할 수 있다는 점에서 성공합니다. 기존 미디어와 달리 메타는 콘텐츠 제작 비용이 발생하지 않아 수익성이 더욱 향상됩니다(현재 순 마진 33%).
그러나 이러한 끊임없는 수익 추구는 윤리적 문제를 제기합니다. 메타의 알고리즘 기반 광고 플랫폼은 유해한 광고 콘텐츠가 플랫폼에서 홍보되도록 허용한다는 비판을 받아왔습니다.
이러한 문제를 해결하겠다는 약속에도 불구하고 비평가들은 메타가 원칙보다 수익을 우선시하여 유해한 콘텐츠가 지속될 수 있다고 주장합니다.
메타, 인도 선거에서 인공지능으로 조작된 정치 광고 승인
메타가 비윤리적인 광고에 대한 승인과 관련하여 조사를 받은 것은 이번이 처음이 아닙니다.
페이스북과 인스타그램의 모회사인 페이스북은 최근 인도 선거 기간 동안 인공지능으로 조작된 정치 광고의 확산을 막지 못한 것에 대해 심각한 비판에 직면해 있습니다.
가디언과 독점적으로 공유한 보고서에 따르면, 메타는 무슬림에 대한 비방과 힌두 우월주의적 수사를 포함하여 종교 단체와 정치 지도자를 겨냥한 혐오 발언, 허위 정보, 종교적 폭력 선동을 담은 일련의 광고를 승인했습니다.
유해 콘텐츠를 감지하고 차단하는 메타의 메커니즘에도 불구하고, 인도 시민단체인 인도 시민 감시 인터내셔널과 에코가 제출한 이 광고는 승인되어 플랫폼이 기존의 유해한 내러티브를 증폭시킬 수 있는 역량을 확대했습니다.
나렌드라 모디 인도 총리와 마크 저커버그 페이스북 CEO (출처: 가디언)
염증성 콘텐츠 감지 실패
놀랍게도 메타의 시스템은 인도 선거 기간 동안 AI가 생성하거나 조작한 콘텐츠의 확산을 방지하겠다는 회사의 공개 서약에도 불구하고 승인된 광고에 AI가 조작된 이미지가 포함되어 있다는 사실을 인식하지 못했습니다.
일부 광고는 커뮤니티 기준을 위반했다는 이유로 거부되었지만, 무슬림을 대상으로 한 광고는 혐오 발언, 잘못된 정보, 폭력 선동에 대한 메타의 자체 정책을 위반하여 승인되었습니다.
게다가 메타는 이러한 광고를 정치 또는 선거 관련 광고로 인정하지 않아 투표 기간 동안 정치 광고를 금지하는 인도의 선거 규정을 회피할 수 있었습니다.
이 실패는 혐오 발언과 허위 정보에 대처하는 플랫폼의 부적절함을 강조하며 전 세계 선거 관리에 대한 신뢰성에 의문을 제기합니다.
메타의 대응과 계속되는 도전 과제
이번 폭로에 대해 메타는 광고주가 모든 관련 법률을 준수해야 한다는 점과 위반 콘텐츠를 삭제하겠다는 약속을 강조했습니다.
그러나 이번 조사 결과는 혐오 발언과 허위 정보에 대처하는 메타의 메커니즘에 상당한 공백이 있음을 드러냈습니다. 인도의 선거에 대한 광범위한 준비에도 불구하고, 유해한 콘텐츠의 유포를 탐지하고 방지하지 못하는 메타의 무능력은 민주적 절차를 보호하는 데 있어 그 효과성에 의문을 제기합니다.
이슬람 혐오 발언과 음모론의 확산 등 콘텐츠 검열과 관련된 지속적인 문제로 어려움을 겪고 있는 가운데, 전 세계적으로 선거에서 유사한 문제를 해결하는 능력에 대한 우려가 커지면서 정치적 담론의 플랫폼으로서 신뢰성에 대한 의구심이 제기되고 있습니다.
사기의 온상
페이스북, 인스타그램, 왓츠앱을 포함한 메타의 플랫폼은 전 세계적으로 사기의 온상이 되고 있습니다. 피싱 사기부터 멀웨어 배포까지, 메타의 느슨한 감독과 불충분한 안전 조치로 인해 사용자 보안에 대한 우려가 커지고 있습니다.
그리고조작된 뉴스에 대한 회사의 대응 는 악용에 대한 취약성을 더욱 부각시켜 사기에 효과적으로 대처할 수 있는 능력에 대한 의문을 불러일으켰습니다.
메타가 AI 개발 노력에 자금을 할당하기 위해 이러한 우려를 외면하고 있는 것이 아니냐는 추측이 제기되고 있습니다.
Meta: 집이 분열되나요?
이러한 기술이 계속 발전함에 따라 잘못된 정보의 확산을 방지하고 개인을 평판 피해로부터 보호하기 위해서는 강력한 사실 확인 메커니즘과 명확한 사용자 기대치를 마련하는 것이 중요합니다.
Meta는 기술의 한계를 뛰어넘는 AI 리더로 자신을 소개하지만, 소셜 미디어 플랫폼은 안전 문제로 가득 차 있습니다.
카멜레온과 같은 AI 발전에 막대한 투자를 하고 있지만, 잘못된 정보나 정치적 조작과 같은 실제 문제를 완화할 수 있는 능력은 여전히 의문입니다. 이러한 모순은 메타가 기존 제품을 괴롭히는 안전 문제를 해결하지 못한다면 진정한 AI 챔피언이 될 수 있을지에 대한 중요한 의문을 제기합니다.
메타가 야심찬 AI 목표와 사용자를 보호해야 하는 긴급한 필요성 사이의 간극을 얼마나 효과적으로 메울 수 있는지에 답이 있을 것입니다.
이번 주외부 자문위원 임명 는 보다 총체적인 접근 방식으로의 전환 가능성을 시사하지만, 메타가 미래 지향적인 비전과 현재의 단점을 조화시킬 수 있을지는 시간이 지나야 알 수 있습니다.