정부 셧다운 거래 계약은 정산 기준이 부정확할 수 있으며 예측 불가능한 결과를 초래할 수 있음을 보여준다. 정산 규칙에 따르면 시장은 인사관리처(OPM) 웹사이트에 표시된 정부 셧다운 종료 시점을 기준으로 정산된다. 트럼프 대통령은 11월 12일 예산 법안에 서명했지만, 알 수 없는 이유로 OPM 웹사이트는 11월 13일이 되어서야 업데이트되었습니다. 정부 셧다운이 12일에 종료될 것이라고 정확히 예측한 트레이더들은 웹사이트 관리자의 업데이트 지연으로 인해 내기를 잃었습니다. 해당 계약은 우크라이나 대통령 젤렌스키가 특정 행사에 정장을 입을지 묻는 것이었는데, 사소해 보이는 이 질문에 2억 달러 이상의 베팅이 몰렸다. 젤렌스키가 BBC, 뉴욕 포스트 등 언론이 정장 차림이라고 보도한 모습으로 나토 정상회의에 등장하자 시장은 처음에 '예'로 답했다. 그러나 유니버설 마켓 액세스(UMA 프로토콜) 토큰 보유자들이 결과에 이의를 제기하면서 최종 결과는 '아니오'로 바뀌었다.
이는 예측 시장만의 문제가 아닙니다
비슷한 난제가 금융 시장에도 존재합니다. 국제스왑파생상품협회(ISDA)는 수년간 신용부도스왑(CDS) 시장(기업이나 국가 채무 불이행 시 보상금을 지급하는 계약)의 청산 문제를 해결하기 위해 노력해 왔으며, 2024년 평가 보고서에서도 이러한 문제점을 솔직히 인정했습니다. ISDA의 인정 위원회는 주요 시장 참여자로 구성되어 신용 사건 발생 여부를 투표로 결정합니다. 그러나 UMA의 절차와 마찬가지로 이 과정 역시 투명성 부족, 잠재적 이해 상충, 결과 불일치로 인해 비판을 받고 있다. 근본적인 문제는 동일하다: 막대한 자금이 모호한 상황에 대한 판단에 달려 있을 때, 모든 해결 메커니즘은 악용의 대상이 될 수 있으며, 모든 모호한 지점은 잠재적 도화선이 될 수 있다.
그렇다면 좋은 해결 메커니즘은 어떤 모습이어야 할까요?
좋은 해결책의 특성
실현 가능한 모든 해결책은 여러 핵심 특성을 동시에 충족해야 합니다.
조작에 대한 저항력. 상대방이 위키백과 편집, 가짜 뉴스 유포, 권위 기관 뇌물 제공 또는 프로그램 결함 악용을 통해 결과에 영향을 미칠 수 있다면, 시장은 예측 능력 경쟁이 아닌 조작 기술 경쟁의 장으로 전락합니다.
합리적인 정확성. 해당 메커니즘은 대부분의 경우 올바른 판단을 내려야 합니다. 진정한 모호성이 존재하는 세상에서 절대적인 정확성은 불가능하지만, 체계적 오류나 명백한 실수는 신뢰도를 심각하게 훼손합니다.
사전 투명성은 매우 중요합니다. 거래자는 베팅 전에 정산 메커니즘의 작동 방식을 완전히 이해해야 합니다. 거래 과정에서 규칙을 변경하는 것은 플랫폼과 참여자 간의 기본적 합의를 위반하는 행위입니다.
신뢰할 수 있는 중립성. 참여자는 해당 메커니즘이 특정 거래자나 결과에 편향되지 않을 것이라고 믿어야 합니다. 이 때문에 대량의 UMA 계약을 보유한 참여자가 자신이 베팅한 계약을 해결하도록 하는 것은 매우 문제가 됩니다: 그들이 공정하게 행동하더라도 이해 상충의 외관은 신뢰를 훼손할 것입니다. UMA와 같은 토큰 기반 투표 시스템 역시 잘 알려진 고래 주도 및 이해 상충 문제를 안고 있습니다.
대규모 언어 모델(LLM)을 판정자로 활용하는 이유
예측 시장 분야에서 주목받는 제안이 하나 있습니다: 대규모 언어 모델(LLM)을 판정자로 활용하여 계약 생성 시 특정 모델과 프롬프트를 블록체인에 고정하는 방식입니다.
기본 아키텍처의 작동 방식은 다음과 같습니다: 계약 생성 시, 시장 조성자는 자연어로 해결 기준을 지정할 뿐만 아니라 정확한 LLM(타임스탬프가 찍힌 모델 버전 식별자를 통해)과 결과를 결정하는 데 사용될 정확한 프롬프트도 지정합니다.
이 사양은 암호화되어 블록체인에 기록됩니다. 거래 시작 시 참여자는 전체 정산 메커니즘을 확인할 수 있습니다. 즉, 어떤 AI 모델이 결과를 판단할지, 어떤 프롬프트를 받을지, 어떤 정보원에 접근할 수 있는지 정확히 알 수 있습니다.
이 거래 방식이 마음에 들지 않으면 거래를 진행하지 않습니다.
정산 시 제출된 LLM은 제출된 프롬프트에 따라 실행되며, 지정된 모든 정보원에 접근하여 판단을 내립니다. 이 판단 결과에 따라 보상을 받을 주체가 결정됩니다.
이 방법은 동시에 몇 가지 핵심 제약 조건을 해결합니다:
LLM은 강력한 조작 저항성을 지닙니다(비록 절대적이지는 않지만). 위키백과 페이지나 소규모 뉴스 사이트와 달리, LLM 모델의 출력을 쉽게 편집할 수 없습니다. 모델의 가중치는 생성 시점에 이미 확정됩니다. 결과를 조작하려면 공격자는 모델이 의존하는 정보원을 파괴하거나, 오랫동안 미리 모델 훈련 데이터를 오염시켜야 합니다. 오라클을 매수하거나 지도를 위조하는 공격에 비해 이 두 가지 방식은 비용이 많이 들고 위험도가 매우 높습니다.
높은 정확도. 추론 모델의 급속한 발전으로 인해, 특히 웹을 탐색하고 새로운 정보를 찾을 수 있는 상황에서 LLM 모델은 다양한 복잡한 작업을 처리할 수 있으며, 많은 시장 문제를 정확하게 해결할 수 있을 것으로 예상됩니다. 현재 그 정확도를 파악하기 위한 실험이 진행 중입니다.
완전한 투명성. 누구도 베팅하기 전에 전체 정산 메커니즘이 공개되고 투명하며 감사 가능합니다. 경기 진행 중 규칙이 변경되거나 임의로 판단이 내려지거나 뒷거래가 발생하지 않습니다. 여러분은 자신이 참여하는 내용을 완전히 이해하고 있습니다.
신뢰할 수 있는 중립성 현저히 향상. LLM 모델은 결과와 어떠한 경제적 이해관계도 없으며, 매수될 수 없고 UMA 토큰을 보유하지도 않습니다. 그 편향성은 구체적으로 무엇이든 모델 자체에서 비롯되며, 이해관계자의 임시 결정의 결과가 아닙니다.
물론 LLM 모델의 판단에도 몇 가지 한계가 있으며, 아래에서 이러한 한계점을 개요하고 논의하겠습니다:
모델도 실수를 할 수 있습니다. 예를 들어, LLM은 뉴스 보도를 오독하거나 사실을 허위로 창작하거나 판단 기준을 일관성 없이 적용할 수 있습니다. 그러나 거래자가 자신이 사용하는 모델을 명확히 인지한다면 모델의 결함을 고려할 수 있습니다. 특정 모델이 모호한 사례를 처리할 때 특정 경향을 보인다면, 경험 많은 거래자는 이에 맞춰 조정할 것입니다. 모델은 완벽할 필요는 없지만 예측 가능해야 합니다.
조작이 불가능한 것은 아니지만, 더 어려울 뿐입니다. 프롬프트가 특정 뉴스 출처를 지정하면 공격자는 해당 출처에 보도를 심으려 시도할 수 있습니다. 이러한 공격은 대형 미디어 기관에는 비용이 많이 들지만, 소규모 미디어 기관에는 효과적일 수 있습니다. 이는 또 다른 형태의 지도 변조 문제에 해당합니다. 힌트 정보의 설계가 매우 중요합니다: 단일 고장 지점에 의존하는 메커니즘보다 다양하고 중복된 정보원에 의존하는 해석 메커니즘이 더 견고합니다. 그러나 이는 계약 생성 훨씬 이전에 조치를 취해야 하며, 수익은 불확실하고 비용은 높습니다. 위원회 구성원에게 뇌물을 주는 것보다 훨씬 어려운 일입니다. 거래자는 계약을 비교하거나 시장 간 정보를 통합하기 어려워집니다. 표준화는 중요하지만, 시장이 어떤 LLM과 거래 팁 조합이 최적인지 스스로 탐색할 수 있도록 하는 것 또한 중요합니다. 올바른 접근법은 아마도 두 가지를 모두 고려하는 것일 것입니다: 실험을 허용하되, 동시에 시장이 시간이 지남에 따라 충분히 검증된 기본 설정을 점진적으로 일관되게 채택할 수 있는 메커니즘을 구축하는 것입니다. 개발자는 어떻게 이러한 전략을 채택할 수 있을까요? 요약하자면: 인공지능 기반 솔루션은 본질적으로 기존 문제(인위적 편향, 이해 상충, 정보 불투명성)를 다른 문제(모델 한계, 공학적 도전, 정보원 취약점)로 대체한 것이며, 후자가 해결하기 더 쉬울 수 있습니다. 그렇다면 어떻게 진행해야 할까요? 플랫폼은 다음을 수행해야 합니다:
저위험 계약에서 LLM 메커니즘을 테스트하여 실적 기록을 구축합니다. 어떤 모델이 가장 우수한 성능을 보이나요? 어떤 프롬프트 구조가 가장 견고한가요? 실제 적용 시 어떤 오류 패턴이 발생하나요?
표준화. 최선의 실천 사례가 등장함에 따라 업계는 표준화된 LLM-프롬프트 조합을 기본 옵션으로 제정하기 위해 노력해야 합니다. 이는 혁신을 방해하는 것이 아니라 유동성이 이해하기 쉬운 시장에 집중되도록 돕습니다.
투명성 도구 구축, 예를 들어 거래자가 거래 전 모델, 프롬프트 정보, 정보 출처를 포함한 전체 정산 메커니즘을 확인할 수 있는 인터페이스. 정산 메커니즘은 눈에 띄지 않는 세부 조항에 숨겨져서는 안 됩니다. 지속적인 거버넌스. 인공지능의 판단이 있더라도 인간은 여전히 메타 수준의 결정을 내려야 합니다: 어떤 모델을 신뢰할지, 모델이 명백히 잘못된 답을 제공할 때 어떻게 처리할지, 기본 설정을 언제 업데이트할지 등. 목표는 인간을 완전히 배제하는 것이 아니라, 임시적인 개별 사례 판단에서 체계적인 규칙 제정으로 전환하도록 유도하는 것입니다.
***
예측 시장은 복잡한 세상을 이해하는 데 큰 잠재력을 지녔습니다. 그러나 이 잠재력은 신뢰에 달려 있으며, 신뢰는 공정한 계약 해결 메커니즘에 달려 있습니다. 우리는 해결 메커니즘이 실패했을 때의 결과를 목격했습니다: 혼란, 분노, 그리고 거래자들의 이탈. 저는 사기당했다고 느끼고 예측 시장에서 완전히 이탈한 사람들을 직접 목격했습니다. 그들의 베팅 결과가 본래 의도와 상반되는 것처럼 보였기 때문입니다. 그들은 이전에 애용하던 플랫폼을 다시는 사용하지 않겠다고 맹세했습니다. 이는 예측 시장의 장점을 발휘하고 더 광범위한 적용을 확대할 수 있는 기회를 분명히 놓친 것입니다.
LLM 모델은 완벽하지 않습니다. 그러나 암호화 기술과 결합될 때 투명하고 중립적이며, 인간 기반 시스템에 만연한 조작 행위에 저항할 수 있습니다. 예측 시장 규모가 거버넌스 메커니즘보다 훨씬 빠르게 확장되는 지금, 바로 이것이 우리가 필요로 하는 것일 수 있습니다.
JinseFinance
Cointelegraph