이더넷의 장기 저장 및 기록 데이터 액세스 문제에 대한 해결책은 무엇인가요?

저자: 0xNatalie 출처: ChainFeeds

이더넷 상태 데이터 인플레이션 문제와 해결 방안

이더넷 네트워크의 인기와 애플리케이션 수요의 증가로 인해 과거 상태 데이터가 급격하게 증가하기 시작했습니다. 이를 해결하기 위해 이더넷은 원래의 풀 노드에서 라이트 클라이언트로 단계적으로 개선되었으며, 최근에는 장기간 사용하지 않은 데이터를 자동으로 정리하는 상태 만료 기능을 도입한 Dencun 업그레이드가 이루어졌습니다.

이더의 장기적인 목표 중 하나는 샤딩을 구현하여 여러 블록체인에 데이터를 분산함으로써 개별 블록체인의 부하를 줄이는 것이며, 덴쿤 업그레이드의 EIP-4844 구현은 이더 네트워크에서 샤딩을 완전히 구현하기 위한 중요한 단계입니다. EIP-4844는 "블롭" 임시 데이터 유형을 도입하여 롤업이 더 적은 비용으로 더 많은 데이터를 이더 체인에 제출할 수 있도록 합니다. 이더리움은 상태 데이터 부풀림을 제어하기 위해 블롭을 합의 레이어 노드에 약 18일 동안 저장한 후 삭제합니다.

이더의 자체적인 개선 외에도 Celestia, Avail, EigenDA와 같은 프로젝트에서 데이터 문제를 개선하기 위한 솔루션을 구축하고 있습니다. 이러한 솔루션은 블록체인의 실시간 운영과 확장성을 향상시키는 효과적인 단기 데이터 가용성(DA) 솔루션을 제공합니다. 이러한 솔루션은 사용자 인증 데이터의 장기 저장에 의존하는 디앱이나 AI 모델 학습이 필요한 디앱과 같이 기록 데이터에 장기적으로 액세스해야 하는 애플리케이션에는 적합하지 않습니다.

이더리움 생태계에서 장기 데이터 저장의 문제를 해결하기 위해 이더리움스토리지와 파이넥스가 개발되고 있습니다. 이더스토리지, 파이넥스, 코발런트 등 여러 프로젝트에서 해결책을 제시했습니다.이더스토리지에서는 롤업에 장기 DA를 제공하여 시간이 지나도 데이터에 액세스하고 사용할 수 있도록 보장하며, 파이넥스, 더 그래프, 스트리밍패스트는 장기 DA를 제공합니다; 코발런트의 이더리움 웨이백 머신(EWM)은 장기 데이터 저장 솔루션일 뿐만 아니라 데이터 쿼리 및 분석이 가능한 완벽한 시스템입니다.

AI가 전 세계적으로 기술 개발의 대세가 되면서 블록체인 기술과의 결합도 앞으로 나아갈 길로 여겨지고 있습니다. 이러한 추세로 인해 과거 데이터 액세스 및 분석에 대한 수요가 증가하고 있습니다. 이러한 배경에서 EWM은 과거 이더채널 데이터의 보관 및 데이터 처리 기능을 제공하여 사용자가 복잡한 데이터 구조를 검색하고 스마트 컨트랙트, 거래 결과, 이벤트 로그 등의 내부 상태를 심층적으로 분석하고 쿼리할 수 있도록 하는 고유한 장점을 보여줍니다.

이더리움 웨이백 머신(EWM) 소개

이더리움 웨이백 머신(EWM)은 이더의 과거 데이터를 보존하고 액세스 및 검증이 가능하도록 하는 웨이백 머신의 개념에서 유래한 웨이백 머신은 인터넷 아카이브에서 인터넷의 역사를 기록하고 보존하기 위해 만든 디지털 아카이브 프로젝트입니다. 이 도구를 통해 사용자는 과거의 다양한 시점에서 웹사이트의 아카이브 버전을 볼 수 있어 웹사이트 콘텐츠의 변화 역사를 이해하는 데 도움이 됩니다.

역사적 데이터는 블록체인이 탄생하게 된 근본적인 이유이며, 기술 아키텍처뿐만 아니라 경제 모델의 초석이기도 합니다. 블록체인은 원래 공개적이고 불변하는 역사 기록을 제공하기 위해 설계되었습니다. 예를 들어 비트코인은 투명성과 보안을 보장하기 위해 모든 거래 내역을 기록하는 불변의 탈중앙화된 원장을 만들도록 설계되었습니다. 기록 데이터는 다양한 시나리오에서 필요하지만 효율적이고 검증 가능한 저장 방법이 부족합니다. 장기적인 DA 솔루션인 ewm은 블롭 데이터를 포함한 데이터를 영구적으로 저장할 수 있으며 상태 만료 및 데이터 조각화로 인한 기록 데이터의 접근성 문제를 해결할 수 있습니다. ewm은 이더리움에서 기록 데이터의 보관 및 장기적인 가용성을 전문으로 합니다. 복잡한 데이터 구조 쿼리를 지원하여 기록 데이터의 아카이빙과 장기적인 접근성을 제공합니다. 다음에서는 EWM이 고유한 데이터 처리 프로세스를 통해 이를 어떻게 달성하는지 자세히 살펴보겠습니다.

EWM의 데이터 처리 흐름: 추출, 정제 및 인덱싱

Covalent는 사용자에게 블록체인 데이터에 대한 액세스 및 쿼리 서비스를 제공하는 플랫폼입니다. 블록체인 데이터를 캡처하고 인덱싱하여 네트워크의 여러 노드에 저장함으로써 안정적인 저장과 빠른 데이터 접근을 가능하게 합니다.Covalent는 이더리움 웨이백 머신(EWM)을 통해 데이터를 처리하여 과거 블록체인 데이터에 대한 지속적인 접근성을 보장하며, EWM 데이터 처리 흐름은 추출 및 내보내기( 추출 및 내보내기), 정제, 인덱싱 및 쿼리입니다.

1. 추출 및 내보내기: 프로세스의 첫 단계로, 블록체인 네트워크에서 직접 과거 거래 데이터를 추출하는 단계입니다. 이 단계는 블록 샘플 생산자(BSP)로 알려진 전문 기관이 수행하며, 이들의 주요 임무는 블록체인 데이터의 원시 스냅샷인 '블록 샘플'을 생성하고 저장하는 것입니다. 이러한 블록 샘플은 블록체인의 기록 상태를 나타내는 표준적인 역할을 하며, 데이터의 무결성과 정확성을 유지하는 것이 중요합니다. 이러한 블록 샘플은 일단 생성되면 분산 서버(IPFS 기반)에 업로드되고, 프루프체인 컨트랙트를 통해 게시 및 검증됩니다. 이는 데이터의 보안을 보장할 뿐만 아니라 다른 사람들에게 데이터가 안전하게 저장되었음을 알리는 신호이기도 합니다.

2. 정제: 데이터가 추출된 후, 기초 데이터를 보다 유용한 형태로 변환하는 블록 결과 생산자(BRP)에 의해 정제됩니다. 기존의 블록체인 데이터 접근 방식은 일반적으로 제한된 정보를 제공하며 복잡한 데이터 구조를 쉽게 쿼리할 수 없습니다. BRP는 데이터를 재실행하고 변환함으로써 계약의 내부 상태, 거래 실행 경로 등과 같은 보다 상세한 정보를 제공할 수 있습니다. 또한 BRP는 처리된 데이터를 전처리하여 저장함으로써 쿼리나 데이터 분석 시마다 전체 노드를 재실행할 필요성을 크게 줄여 쿼리 속도를 높이고 저장 및 연산 비용을 절감할 수 있습니다. 이때 원래의 '블록 샘플'은 보다 쉽게 쿼리하고 분석할 수 있는 '블록 결과'의 형태로 변환됩니다. 이 과정은 코발런트 네트워크의 성능을 가속화할 뿐만 아니라 데이터의 추가 쿼리 및 분석에 대한 더 많은 가능성을 열어줍니다.

3. 색인 및 쿼리: 마지막으로, 쿼리 운영자는 처리된 데이터를 찾기 쉬운 위치에 정리하고 저장합니다. API 사용자의 필요에 따라 분산된 서버에서 데이터를 가져와서 API 쿼리에 응답하기 위해 과거 데이터와 실시간 데이터를 모두 사용할 수 있도록 합니다. 이를 통해 사용자는 코발런트 네트워크에 저장된 블록체인 데이터에 효율적으로 액세스하고 활용할 수 있습니다.

Covalent는 이더, 폴리곤, 솔라나 등 여러 블록체인에서 기록 데이터를 가져올 수 있는 통합 GoldRush API를 제공합니다. 골드러시 API는 개발자를 위한 원스톱 데이터 솔루션을 제공하여 한 번의 호출로 계정의 ERC20 토큰 잔액과 NFT 데이터를 가져와서 암호화폐와 NFT 지갑(예: 레인보우, 제리온)을 쉽게 구축할 수 있어 개발 프로세스를 크게 간소화할 수 있습니다. 또한 API를 사용하여 DA 데이터에 액세스하려면 크레딧(신용)을 소비해야 하며, 다양한 유형의 요청은 각기 다른 카테고리(A, B, C 등)로 분류되어 각각 고유한 크레딧 비용이 발생합니다. 이 수익은 운영자의 네트워크를 지원하는 데 사용됩니다.

미래 전망

AI의 빠른 발전과 함께 AI와 블록체인의 결합 추세는 더욱 빨라지고 있습니다. AI의 급속한 발전과 함께 AI와 블록체인의 결합 트렌드가 점점 더 뚜렷해지고 있습니다. 블록체인 기술은 AI에 변조 방지 및 분산화된 검증 데이터 소스를 제공하여 데이터 투명성과 신뢰를 높이고, 데이터 분석 및 의사 결정에서 AI 모델을 더욱 정확하고 신뢰할 수 있게 합니다. AI는 체인상의 데이터를 분석하여 알고리즘을 최적화하고 추세를 예측함으로써 복잡한 작업과 거래를 직접 실행할 수 있어 dApp 효율성을 크게 개선하고 비용을 절감할 수 있습니다. EWM을 통해 AI 모델은 무결성과 검증 가능성을 갖춘 광범위한 온체인 구조의 Web3 데이터 세트에 액세스할 수 있으며, EWM은 AI 모델과 블록체인을 연결하는 다리 역할을 하여 AI 개발자의 데이터 검색과 활용을 크게 촉진합니다.

이미 코발런트를 통합한 여러 AI 프로젝트가 있습니다:

• SmartWhales: AI 기술을 사용하여 카피 트레이딩을 최적화하는 플랫폼. AI 기술을 사용하여 카피 트레이딩 투자 전략을 최적화하는 플랫폼입니다. 카피 트레이딩은 과거 데이터를 분석하여 성공적인 트레이딩 패턴과 전략을 파악하는 데 의존합니다. Covalent는 포괄적이고 철저한 블록체인 데이터 세트를 제공하며, SmartWhales는 이를 통해 과거의 거래 행동과 결과를 분석하고 특정 시장 상황에서 어떤 전략이 좋은 성과를 냈는지 파악합니다.

• BotFi: 디파이 트레이딩 봇. Covalent의 데이터를 통합하여 시장 동향을 분석하고 트레이딩 전략을 자동화하며 시장 변화에 대응하여 매수 및 매도 작업을 자동화합니다.

• 라이카 AI: AI를 통한 종합적인 온체인 분석. 라이카 AI 플랫폼은 Covalent가 제공하는 구조화된 블록체인 데이터를 통합하여 AI 모델을 구동함으로써 사용자가 복잡한 온체인 데이터 분석을 수행할 수 있도록 지원합니다.

• 엔터드레 파이낸스: 디파이 자산 관리를 자동화하여 실시간 인사이트와 예측 분석을 제공합니다. 이 회사의 AI는 코발런트의 구조화된 데이터를 활용하여 디지털 자산 보유 모니터링 및 관리, 특정 거래 전략 자동화 등 자산 관리를 단순화 및 자동화합니다.

EWM은 또한 변화하는 요구에 대응하여 개선 및 업그레이드되고 있으며, 코발런트 엔지니어인 프라나이 발슨(Pranay Valson)은 향후 EWM이 프로토콜 사양을 확장하여 폴리곤(Polygon) 및 Arbitrum과 같은 다른 블록체인을 지원할 것이며, 더 폭넓은 호환성과 적용을 위해 BSP 포크를 이더리움 클라이언트에 통합할 것입니다. 또한, EWM은 비콘 체인에서 블롭 트랜잭션을 처리할 때 KZG 커밋을 사용하여 데이터 저장 및 검색 효율성을 개선하고 스토리지 비용을 절감할 것입니다.