변종: 더 나은 AI에 암호화폐가 필요한 이유

변형 펀드 법률 고문 겸 파트너, Daniel Barabander 작성; 0xjs@GoldenFinance 편집

이 기사의 주요 내용

• 현재. 기본적인 AI 개발은 폐쇄적이고 반경쟁적인 상태에서 소수의 기술 기업이 주도하고 있습니다.

• 오픈소스 소프트웨어 개발도 또 다른 옵션이지만, '자원 문제'와 오픈소스 기여자가 컴퓨팅 및 데이터 비용 측면에서 감당할 수 있는 것보다 더 많은 것을 기부해야 한다는 사실 때문에 기본 AI는 전통적인 오픈소스 소프트웨어 프로젝트(예: Linux)로 개발할 수 없습니다.

• 크립토는 리소스 제공자가 소유권을 통해 기본 오픈소스 AI 프로젝트에 기여하도록 인센티브를 제공함으로써 리소스 문제를 해결합니다.

• 암호화와 결합된 오픈 소스 AI는 더 큰 모델을 지원하고 더 많은 혁신을 촉진하여 더 나은 AI로 이어질 수 있습니다.

소개

2024년 퓨 리서치 센터의 여론조사에 따르면 64%에 달하는 미국인은 소셜 미디어가 미국에 긍정적인 영향보다는 부정적인 영향을 미쳤다고 생각하고, 78%는 소셜 미디어 회사가 오늘날 정치에서 너무 많은 권한과 영향력을 가지고 있으며, 83%는 이러한 플랫폼이 동의하지 않는 정치적 견해를 의도적으로 검열할 가능성이 있거나 매우 높다고 답했습니다. 소셜 미디어 플랫폼에 대한 혐오감은 미국인들을 하나로 묶는 몇 안 되는 이슈 중 하나입니다.

지난 20년간 소셜 미디어 실험의 경과를 돌이켜 보면, 우리가 이 지경에 이른 것은 필연적인 결과인 것 같습니다. 여러분 모두 그 이야기를 알고 계실 겁니다. 처음에는 소수의 대형 기술 기업이 주목을 받았고, 무엇보다도 사용자 데이터에 대한 접근 권한이 가장 중요했습니다. 처음에는 이러한 데이터가 공개되기를 바랐지만, 이러한 기업들은 데이터를 이용해 네트워크 효과를 구축한 후 빠르게 방향을 바꾸고 접근을 차단했습니다. 그 결과, 현재 12개 미만의 대형 기술 소셜 미디어 기업이 과점 체제 아래 작은 봉건 왕국처럼 존재하며, 현상 유지가 매우 유리하기 때문에 변화할 유인이 없는 현재의 상황이 초래된 것입니다. 폐쇄적이고 반경쟁적입니다.

지금까지의 AI 실험의 진행 상황을 보면 같은 영화를 반복해서 보는 것 같지만, 이번에는 훨씬 더 많은 것이 얽혀 있습니다. 소수의 대형 기술 기업들이 기본적인 AI 모델을 구축하기 위해 GPU와 데이터를 축적하고 이에 대한 접근을 차단했습니다. 기본 모델을 사전 학습하는 데만 수십억 달러의 컴퓨팅 자본이 필요하고, 지난 기술 붐의 혜택을 받은 소셜 미디어 기업들은 독점적인 사용자 데이터에 대한 통제력을 이용해 경쟁사가 할 수 없는 모델을 구축하고 있습니다. Facebook은 폐쇄적이고 반경쟁적인 소셜 미디어의 모습을 AI에서도 재현하기 위해 총력을 기울이고 있습니다. 이러한 폐쇄적인 AI의 길을 계속 걷게 되면 소수의 기술 기업이 정보와 기회에 대한 접근을 자유롭게 통제할 수 있게 될 것입니다.

오픈소스 AI와 '자원 문제'

폐쇄적인 AI 세상을 원하지 않는다면 대안은 무엇일까요? 분명한 답은 기본 모델을 오픈 소스 소프트웨어 프로젝트로 구축하는 것입니다. 우리가 매일 사용하는 기본 소프트웨어를 구축하는 오픈 소스 프로젝트의 예는 무수히 많습니다. Linux가 운영 체제처럼 기본적인 것도 오픈소스로 구축할 수 있다는 것을 보여준다면 LLM은 어떻게 다를까요?

유감스럽게도 기본 AI 모델에는 기존 소프트웨어와 다른 한계가 있어 기존 오픈 소스 소프트웨어 프로젝트로서의 실행 가능성을 심각하게 저해합니다. 특히 기본 AI 모델은 본질적으로 개인의 역량을 넘어서는 계산 및 데이터 리소스를 필요로 합니다. 그 결과, 사람들의 시간 기부에 의존하는 기존 오픈 소스 소프트웨어 프로젝트와 달리(이미 어려운 문제인) 오픈 소스 AI는 사람들이 계산과 데이터의 형태로 자원을 기부해야 합니다. 이것이 바로 오픈 소스 AI의 '리소스 문제'입니다.

자원 문제를 더 잘 이해하기 위해 경쟁사(OpenAI, Google 등)와는 달리 유료 API 뒤에 모델을 숨기지 않고 누구나 무료로 사용할 수 있도록 LLaMa 가중치를 공개적으로 제공한다는 점에서 Meta의 LLaMa 모델을 살펴 보겠습니다(일부 제한이 있음). 이러한 가중치는 메타의 학습 과정에서 모델이 학습한 내용을 나타내며 모델을 실행하는 데 필요합니다. 가중치를 사용하면 누구나 모델을 미세 조정하거나 모델의 출력을 새 모델의 입력으로 사용할 수 있습니다.

메타는 LLaMa의 가중치를 공개한 것은 칭찬받아야 하지만, 진정한 오픈 소스 소프트웨어 프로젝트가 아니며, 자체 계산, 데이터 및 결정을 사용하여 비공개로 모델을 훈련하고 모델을 전 세계에 공개할 시기를 일방적으로 결정하며, 커뮤니티의 단일 구성원으로는 모델 훈련 또는 재훈련에 필요한 계산이나 데이터를 감당할 수 없기 때문에 독립 연구자/개발자를 커뮤니티에 참여하도록 초대하지 않습니다. 메타는 독립 연구자/개발자를 커뮤니티에 초대하지 않습니다. 수만 대의 고용량 GPU, 이를 수용할 데이터 센터, 광범위한 냉각 인프라, 수조 개의 훈련 데이터 토큰 등 모델을 훈련하거나 재훈련하는 데 필요한 계산 또는 데이터 리소스를 한 명의 커뮤니티 구성원이 감당할 수 없기 때문입니다. 스탠포드 AI 인덱스 2024 보고서에 따르면 "훈련 비용의 상승으로 인해 대학(전통적으로 AI 연구 센터)은 자체적인 최첨단 기본 모델 개발에서 사실상 배제되었습니다."라고 합니다. 비용에 대한 이해를 돕기 위해 샘 알트먼은 GPT-4의 훈련 비용은 1억 달러로 자본 지출은 포함되지 않았을 수 있으며, 메타의 자본 지출은 전년 동기 대비 21억 달러 증가(2024년 2분기 대비 2023년 2분기)했으며, 대부분 AI 모델 훈련과 관련된 서버, 데이터 센터, 네트워크 인프라에 대한 투자에서 비롯되었다고 언급했습니다. 따라서 LLaMa의 커뮤니티 기여자들은 기본 모델 아키텍처에 기여하고 이를 반복할 수 있는 기술적 능력을 갖추고 있지만, 이를 위한 수단은 여전히 부족합니다.

요약하면, 기여자에게 시간만 제공하는 기존 오픈 소스 소프트웨어 프로젝트와 달리 오픈 소스 AI 프로젝트의 기여자는 계산과 데이터의 형태로 시간과 상당한 비용을 제공해야 합니다. 선의와 자원봉사에 의존하여 이러한 자원을 제공하도록 충분한 인센티브를 제공하는 것은 비현실적입니다. 더 많은 인센티브가 필요합니다.176B 70여 개국, 250개 이상의 조직에서 1,000명의 자원 봉사 연구자가 참여한 파라미터 오픈 소스 LLM의 성공은 오픈 소스 AI 개발에서 선의와 자원봉사의 미덕에 대한 가장 좋은 반례가 될 수 있습니다. 이는 의심할 여지 없이 인상적인 성과이며 전적으로 지지하지만, 훈련 실행을 조정하는 데 1년이 걸렸고 프랑스 연구 기관으로부터 3백만 유로의 보조금을 받았습니다(이 비용에는 모델 훈련에 사용된 슈퍼컴퓨터에 대한 자본 지출은 포함되지 않았으며 프랑스 기관 중 한 곳에서 이미 사용할 수 있었습니다). BLOOM을 반복하기 위해 새로운 보조금을 조정하고 의존하는 과정은 대규모 기술 연구소의 속도에 맞추기에는 너무 번거롭고 관료적입니다. BLOOM이 출시된 지 2년이 넘었지만, 이 단체가 후속 모델을 만들어냈는지 모르겠습니다.

오픈소스 AI를 활성화하려면 리소스 제공자가 오픈소스 기여자에게 계산과 데이터를 무상으로 제공하도록 인센티브를 제공해야 합니다.

암호화폐가 오픈소스 AI의 자원 문제를 해결할 수 있는 이유

암호화폐의 돌파구는 소유권을 활용하여 자원 비용이 많이 드는 오픈소스 소프트웨어 프로젝트를 가능하게 만드는 것입니다. 암호화폐는 오픈소스 기여자에게 다음을 요구하지 않고 네트워크의 잠재적 업사이드가 있는 투기적 자원 제공자에게 인센티브를 제공함으로써 이를 달성할 수 있습니다. 크립토는 오픈소스 기여자들이 이러한 리소스를 제공하기 위해 비용을 선불로 지불하도록 하는 대신, 오픈소스 AI에 내재된 리소스 문제를 해결합니다.

이를 증명하려면 최초의 암호화 프로젝트인 비트코인을 살펴보면 됩니다. 비트코인은 오픈소스 소프트웨어 프로젝트이며, 이를 실행하는 코드는 프로젝트가 시작된 날부터 지금까지 완전히 공개되어 있습니다. 하지만 코드 자체는 비밀 무기가 아니며, 비트코인 노드 소프트웨어를 다운로드하고 실행하여 로컬 컴퓨터에만 존재하는 블록체인을 생성하는 것은 별다른 소용이 없습니다. 이 소프트웨어는 계산적으로 채굴되는 블록의 수가 단일 참여자의 컴퓨팅 파워를 초과할 만큼 충분히 많을 때만 유용합니다. 그래야만 소프트웨어의 부가가치, 즉 통제되지 않는 원장의 유지 관리가 실현될 수 있습니다. 재단의 오픈 소스 AI와 마찬가지로 비트코인은 단일 기여자의 역량을 넘어서는 리소스가 필요한 오픈 소스 소프트웨어 프로젝트입니다. 비트코인은 네트워크의 변조 방지를 위해, 재단 AI는 모델 반복을 위해 각각 다른 이유로 이러한 계산이 필요할 수 있지만, 더 큰 요점은 둘 다 실행 가능한 오픈 소스 소프트웨어 프로젝트로 기능하기 위해 단일 기여자가 필요로 하는 것 이상의 리소스가 필요하다는 점입니다. 오픈 소스 소프트웨어 프로젝트가 작동하기 위해 필요한 리소스를 필요로 한다는 것입니다.

비트코인 또는 모든 암호화폐 네트워크가 오픈소스 소프트웨어 프로젝트에 리소스를 기여하도록 참여자에게 인센티브를 제공하기 위해 사용하는 마술은 토큰 형태로 네트워크의 소유권을 제공하는 것입니다. Jesse가 2020년에 작성한 Variant의 창립 백서에서 언급했듯이, 소유권은 리소스 제공자가 네트워크의 잠재적 업사이드에 대한 대가로 프로젝트에 리소스를 기여하도록 인센티브를 제공합니다. 이는 땀의 자본이 신생 기업을 시작하는 데 사용되는 방식과 유사합니다. 초기 직원(예: 창업자)의 급여를 주로 비즈니스 소유권을 통해 지급함으로써 스타트업은 감당할 수 없는 인력을 확보하여 스타트업의 문제를 극복할 수 있습니다. Variant는 땀의 자본 개념을 시간을 투자하는 사람뿐만 아니라 자원 제공자에게까지 확장합니다. 따라서 Variant는 소유권을 활용하여 네트워크 효과를 구축하는 프로젝트에 투자하는 데 주력하고 있습니다."

오픈소스 AI를 실현하려면 암호화폐를 통한 소유권 확보가 AI가 직면한 자원 문제에 대한 해결책이 될 수 있습니다. 연구자들은 자신의 모델 설계 아이디어를 오픈 소스 프로젝트에 자유롭게 기여할 수 있는데, 이는 연구자들이 높은 초기 비용을 지불하는 대신 프로젝트에 대한 소유권을 갖는 대가로 컴퓨팅 및 데이터 제공자가 아이디어를 구현하는 데 필요한 리소스를 제공하기 때문입니다. 오픈 소스 AI에서 소유권은 다양한 형태를 취할 수 있지만, 저는 Pluralis가 제안한 접근 방식처럼 모델 자체에 대한 소유권이 가장 흥미롭습니다.

Pluralis는 이 접근 방식을 프로토콜 모델이라고 부르는데, 컴퓨팅 제공자가 특정 오픈 소스 모델을 학습하는 데 컴퓨팅 리소스를 제공하고 향후 모델의 추론 수익에 대한 소유권을 얻을 수 있습니다. 소유권은 특정 모델에 귀속되고 소유권의 가치는 추론 수익에 기반하기 때문에 계산 제공자는 훈련에서 속임수를 쓰는 대신 최상의 모델을 선택하려는 인센티브가 있습니다(쓸모없는 훈련을 제공하면 향후 추론 수익의 기대 가치가 감소하기 때문). 그렇다면 훈련을 위해 가중치를 계산 제공자에게 보내야 하는 경우 어떻게 Pluralis에 소유권을 적용할 수 있을까요? 답은 모델 병렬화를 사용하여 모델 슬라이스를 작업자 간에 배포함으로써 신경망의 핵심 속성 중 하나인 전체 가중치의 일부만 보면서 더 큰 모델의 훈련에 기여할 수 있는 기능을 활용할 수 있으므로 전체 가중치 집합을 추출 불가능한 상태로 유지할 수 있다는 것입니다. 또한 다양한 모델이 Pluralis에서 훈련되기 때문에 트레이너는 다양한 가중치 세트를 갖게 되므로 모델을 다시 만들기가 매우 어렵습니다. 이것이 프로토콜 모델의 핵심 개념입니다. 프로토콜 모델은 훈련이 가능하고 사용할 수 있지만, 처음부터 모델을 훈련하는 데 필요한 것보다 더 많은 계산 능력을 사용하지 않고는 프로토콜에서 추출할 수 없습니다. 이는 오픈 소스 AI 비평가들이 종종 제기하는 폐쇄형 AI 경쟁자가 오픈 프로젝트의 노동의 결실을 빼앗아갈 것이라는 우려를 해결합니다.

왜 암호화 + 오픈소스가 더 나은 AI인가

폐쇄적인 AI가 나쁜 이유를 규범적인 관점에서 설명하기 위해 대기업의 통제 문제를 설명하는 것으로 이 포스팅을 시작했습니다. 하지만 온라인 경험이 운명론으로 물든 세상에서 대부분의 독자에게는 이해가 되지 않을 수 있다는 점이 걱정됩니다. 그래서 저는 암호화가 뒷받침되는 오픈 소스 AI가 실제로 더 나은 AI로 이어질 수 있는 두 가지 이유를 제시하고자 합니다.

첫째, 암호화와 오픈소스 AI의 결합은 폐쇄형 AI보다 더 많은 자원을 조정할 수 있기 때문에 기본 모델의 다음 계층에 도달할 수 있게 해줄 것입니다. 현재 연구에 따르면 연산 및 데이터 형태의 더 많은 리소스는 더 나은 모델을 의미하며, 이것이 일반적으로 기본 모델이 점점 더 커지는 이유입니다. 비트코인은 오픈 소스 소프트웨어와 암호화가 계산 능력 측면에서 어떤 결과를 가져왔는지 보여줍니다. 비트코인은 세계에서 가장 크고 강력한 컴퓨팅 네트워크로, 대형 기술 기업의 클라우드보다 훨씬 더 큰 규모를 자랑합니다. 암호화폐는 고립된 경쟁을 협력적 경쟁으로 바꿔놓았습니다. 자원 제공자들은 개별적으로(그리고 중복적으로) 문제를 해결하기 위해 자원을 축적하는 대신 공동의 문제를 해결하기 위해 자원을 기여하도록 인센티브를 받게 됩니다. 암호화를 사용하는 오픈 소스 AI는 전 세계의 집단 연산과 데이터를 활용하여 폐쇄형 AI에서 가능한 것보다 훨씬 더 큰 규모의 모델을 구축할 수 있습니다. Hyperbolic과 같은 회사는 이미 누구나 오픈 마켓플레이스에서 훨씬 저렴한 가격으로 GPU를 대여할 수 있도록 함으로써 집단 연산 자원 활용의 힘을 입증했습니다.

둘째, 암호화와 오픈 소스 AI를 결합하면 더 많은 혁신을 이끌어낼 수 있습니다. 리소스 문제를 극복할 수 있다면 머신러닝 연구의 고도로 반복적이고 혁신적인 오픈 소스 특성으로 돌아갈 수 있기 때문입니다. 최근 기본 LLM이 출시되기 전에는 머신 러닝 연구자들이 수십 년 동안 자신의 모델과 이를 복제하기 위한 청사진을 공개적으로 공개해 왔습니다. 이러한 모델은 일반적으로 보다 제한된 오픈 데이터 세트를 사용했고 관리 가능한 계산 요구 사항이 있었기 때문에 누구나 반복적으로 사용할 수 있었습니다. 이러한 반복을 통해 RNN, LSTM, 주의 메커니즘과 같은 시퀀스 모델링이 발전했고, 이를 통해 현재 기본 LLM이 의존하는 '트랜스포머' 모델 아키텍처가 가능해졌습니다. 하지만 GPT-2의 오픈 소스화 추세를 뒤집은 GPT-3의 도입과 ChatGPT의 큰 성공으로 모든 것이 바뀌었습니다. OpenAI가 대규모 모델에 충분한 연산과 데이터를 투입하면 인간의 언어를 이해하는 듯한 LLM을 구축할 수 있다는 것을 증명했기 때문입니다. 이로 인해 리소스 문제가 발생했고, 학계에서 감당할 수 없는 높은 가격이 형성되었으며, 대형 기술 기업의 연구소에서는 경쟁 우위를 유지하기 위해 모델 아키텍처의 공개를 중단하는 일이 발생했습니다. 개별 연구소에 주로 의존하는 현재의 상태로는 최첨단 기술의 경계를 넓히는 데 한계가 있을 것입니다. 암호화를 통한 오픈 소스 AI는 연구자들이 다시 한 번 최첨단 모델에 대한 반복적인 프로세스를 계속하여 '차세대 트랜스포머'를 발견할 수 있게 해줄 것입니다.