Làm cách nào để giải quyết vấn đề lưu trữ lâu dài và truy cập dữ liệu lịch sử trong Ethereum?

Tác giả: 0xNatalie Nguồn: ChainFeeds 

Vấn đề và giải pháp mở rộng dữ liệu trạng thái Ethereum

Khi mạng Ethereum ngày càng phổ biến và nhu cầu ứng dụng tăng lên, dữ liệu trạng thái lịch sử của nó bắt đầu tăng nhanh chóng. Để giải quyết vấn đề này, Ethereum đã từng bước cải thiện, từ nút đầy đủ ban đầu đến ứng dụng khách nhẹ, sau đó đến bản nâng cấp Dencun gần đây đã giới thiệu chức năng hết hạn trạng thái để tự động dọn sạch dữ liệu không sử dụng trong thời gian dài.

Một trong những mục tiêu dài hạn của Ethereum là giảm tải cho một blockchain duy nhất bằng cách triển khai sharding để truyền bá dữ liệu trên các blockchain khác nhau, Dencun EIP-4844 đã triển khai trong quá trình nâng cấp là một bước quan trọng để triển khai đầy đủ tính năng phân đoạn trên mạng Ethereum. EIP-4844 giới thiệu loại dữ liệu tạm thời "blobs", cho phép Rollup gửi nhiều dữ liệu hơn tới chuỗi chính Ethereum với chi phí thấp hơn. Để kiểm soát việc mở rộng dữ liệu trạng thái, Ethereum xóa dữ liệu các đốm màu sau khi lưu trữ nó trong các nút lớp đồng thuận trong khoảng 18 ngày.

Ngoài những cải tiến về Ethereum, các dự án như Celestia, Avail và EigenDA cũng đang xây dựng các giải pháp để cải thiện các vấn đề về dữ liệu. Họ cung cấp các giải pháp sẵn có dữ liệu ngắn hạn (DA) hiệu quả nhằm nâng cao hoạt động theo thời gian thực và khả năng mở rộng của blockchain. Sau đó, các giải pháp này không giải quyết các ứng dụng yêu cầu quyền truy cập lâu dài vào dữ liệu lịch sử, chẳng hạn như dApps dựa vào việc lưu trữ lâu dài dữ liệu xác thực người dùng hoặc dApps yêu cầu đào tạo mô hình trí tuệ nhân tạo.

Để giải quyết thách thức lưu trữ dữ liệu lâu dài trong hệ sinh thái Ethereum, các dự án như EthStorage, Pinax và Covalent đã đề xuất các giải pháp. EthStorage cung cấp DA dài hạn cho Rollup, đảm bảo dữ liệu có thể được truy cập và sử dụng lâu dài. Pinax, The Graph và StreamingFast đã cùng nhau phát triển một giải pháp lưu trữ và truy xuất các đốm màu lâu dài. Ethereum Wayback Machine (EWM) của Covalent không chỉ là giải pháp lưu trữ dữ liệu dài hạn mà còn là một hệ thống hoàn chỉnh cho phép truy vấn và phân tích dữ liệu.

Khi trí tuệ nhân tạo trở thành xu hướng chủ đạo trong phát triển công nghệ toàn cầu, sự kết hợp của nó với công nghệ blockchain cũng được coi là hướng phát triển trong tương lai. Xu hướng này dẫn đến nhu cầu truy cập và phân tích dữ liệu lịch sử ngày càng tăng. Trong bối cảnh này, EWM thể hiện những ưu điểm độc đáo của nó. EWM cung cấp tính năng lưu trữ và xử lý dữ liệu lịch sử Ethereum, cho phép người dùng truy xuất các cấu trúc dữ liệu phức tạp và tiến hành phân tích chuyên sâu cũng như truy vấn trạng thái nội bộ của hợp đồng thông minh, kết quả giao dịch, nhật ký sự kiện, v.v.

Giới thiệu về Máy quay ngược Ethereum (EWM)

Máy quay ngược Ethereum (EWM) Tham khảo Giới thiệu khái niệm Wayback Machine để lưu dữ liệu lịch sử trên Ethereum và làm cho dữ liệu đó có thể truy cập và xác minh được. Wayback Machine là một dự án lưu trữ kỹ thuật số được Internet Archive tạo ra để ghi lại và lưu giữ lịch sử của Internet. Công cụ này cho phép người dùng xem các phiên bản đã lưu trữ của một trang web tại các thời điểm khác nhau trong quá khứ, giúp mọi người hiểu được những thay đổi lịch sử trong nội dung trang web.

Dữ liệu lịch sử là lý do cơ bản cho sự ra đời của blockchain. Nó không chỉ hỗ trợ kiến ​​trúc kỹ thuật của blockchain mà còn là nền tảng cho mô hình kinh tế của nó. Blockchain ban đầu được thiết kế để cung cấp hồ sơ lịch sử công khai, không thể thay đổi. Ví dụ: Bitcoin nhằm mục đích tạo ra một sổ cái phi tập trung, bất biến, ghi lại lịch sử của từng giao dịch để đảm bảo tính minh bạch và bảo mật của các giao dịch. Các kịch bản nhu cầu về dữ liệu lịch sử rất rộng, nhưng hiện tại vẫn thiếu một phương pháp lưu trữ hiệu quả và có thể kiểm chứng được. Là một giải pháp DA dài hạn, EWM có thể lưu trữ dữ liệu vĩnh viễn, bao gồm cả dữ liệu blob và có thể giải quyết các vấn đề về khả năng truy cập dữ liệu lịch sử do hết hạn trạng thái và phân mảnh dữ liệu. EWM tập trung vàoviệc lưu trữ và khả năng truy cập lâu dài của dữ liệu lịch sử trên Ethereum, hỗ trợ các truy vấn cấu trúc dữ liệu phức tạp. Tiếp theo, chúng ta sẽ khám phá chi tiết cách EWM đạt được mục tiêu này thông qua quy trình xử lý dữ liệu độc đáo.

p>

Quy trình xử lý dữ liệu của EWM: trích xuất, tinh chỉnh và lập chỉ mục

Covalent là cung cấp cho người dùng Một nền tảng cho các dịch vụ truy vấn và truy cập dữ liệu blockchain. Nó cho phép lưu trữ đáng tin cậy và truy cập nhanh vào dữ liệu bằng cách thu thập và lập chỉ mục dữ liệu blockchain và lưu trữ trên nhiều nút trên mạng. Covalent xử lý dữ liệu thông qua Ethereum Wayback Machine (EWM), đảm bảo khả năng truy cập liên tục của dữ liệu chuỗi khối lịch sử. Quá trình xử lý dữ liệu EWM bao gồm ba bước chính: Trích xuất và Xuất, Tinh chỉnh, Lập chỉ mục và Truy vấn.

1. Trích xuất và xuất: Đây là bước đầu tiên trong quy trình và liên quan đến việc trích xuất dữ liệu từ mạng blockchain Trực tiếp trích xuất dữ liệu giao dịch lịch sử. Bước này được thực hiện bởi các đơn vị chuyên môn, cụ thể là Nhà sản xuất mẫu khối (BSP). Nhiệm vụ chính của BSP là tạo và lưu "mẫu khối", là ảnh chụp nhanh ban đầu của dữ liệu blockchain. Các mẫu khối này đóng vai trò là sự thể hiện chuẩn mực về trạng thái lịch sử của blockchain và điều quan trọng là duy trì tính toàn vẹn và chính xác của dữ liệu. Sau khi được tạo, các mẫu khối này sẽ được tải lên máy chủ phân tán (được xây dựng trên IPFS) rồi xuất bản và xác minh thông qua hợp đồng ProofChain. Điều này không chỉ đảm bảo tính bảo mật của dữ liệu mà còn cung cấp tín hiệu cho người khác rằng dữ liệu đã được lưu trữ an toàn.

2. Tinh chỉnh: Sau khi trích xuất dữ liệu, dữ liệu sẽ được tinh chỉnh bởi Nhà sản xuất kết quả khối (BRP). BRP chịu trách nhiệm chuyển đổi dữ liệu cơ bản sang dạng hữu ích hơn. Các phương pháp truy cập dữ liệu blockchain truyền thống thường chỉ cung cấp thông tin hạn chế và không dễ truy vấn các cấu trúc dữ liệu phức tạp. Bằng cách thực hiện lại và chuyển đổi dữ liệu,BRP có thể cung cấp thông tin chi tiết hơn, chẳng hạn như trạng thái nội bộ của hợp đồng, đường dẫn thực hiện giao dịch, v.v. Ngoài ra, BRP giảm đáng kể nhu cầu chạy lại nút đầy đủ cho mỗi truy vấn hoặc phân tích dữ liệu bằng cách xử lý trước và lưu trữ dữ liệu đã xử lý, từ đó tăng tốc độ truy vấn và giảm chi phí lưu trữ và tính toán. Tại thời điểm này, "mẫu khối" ban đầu được chuyển thành dạng "kết quả khối" để dễ truy vấn và phân tích hơn. Quá trình này không chỉ tăng tốc hiệu suất của mạng Covalent mà còn cung cấp nhiều khả năng hơn để truy vấn và phân tích dữ liệu thêm.

3. Lập chỉ mục và truy vấn: Cuối cùng, toán tử truy vấn (Toán tử truy vấn) sắp xếp và hợp nhất dữ liệu đã xử lý Lưu nó ở đâu đó dễ tìm. Dữ liệu được lấy từ các máy chủ phân tán dựa trên nhu cầu của người dùng API, đảm bảo rằng cả dữ liệu lịch sử và thời gian thực đều có sẵn để đáp ứng các truy vấn API. Điều này cho phép người dùng truy cập và sử dụng hiệu quả dữ liệu blockchain được lưu trữ trong mạng Covalent.

Covalent cung cấp API GoldRush thống nhất hỗ trợ lấy dữ liệu lịch sử từ nhiều chuỗi khối (chẳng hạn như Ethereum, Polygon, Solana, v.v.) dữ liệu. API GoldRush này cung cấp cho các nhà phát triển giải pháp dữ liệu một cửa, cho phép các nhà phát triển lấy số dư mã thông báo ERC20 và dữ liệu NFT của tài khoản thông qua một cuộc gọi, từ đó dễ dàng xây dựng ví tiền điện tử và NFT (như Rainbow, Zerion), đơn giản hóa đáng kể quá trình phát triển. Ngoài ra, việc sử dụng API để truy cập dữ liệu DA cần tiêu tốn tín dụng (Tín dụng). Các loại yêu cầu khác nhau được chia thành các loại khác nhau (Loại A, Loại B, Loại C, v.v.) và mỗi loại. loại có yêu cầu cụ thể của riêng mình về chi phí tín dụng. Doanh thu này được sử dụng để hỗ trợ mạng lưới nhà điều hành.

p>

Tầm nhìn tương lai

Với sự phát triển nhanh chóng của AI, xu hướng kết hợp AI và blockchain ngày càng trở nên rõ ràng hơn. Công nghệ chuỗi khối cung cấp cho AI nguồn dữ liệu được xác minh bất biến và phân tán, nâng cao tính minh bạch và tin cậy của dữ liệu, giúp các mô hình AI chính xác và đáng tin cậy hơn trong phân tích dữ liệu và ra quyết định. Bằng cách phân tích dữ liệu trên chuỗi, AI có thể tối ưu hóa thuật toán và dự đoán xu hướng, từ đó trực tiếp thực hiện các nhiệm vụ và giao dịch phức tạp, cải thiện đáng kể hiệu quả của dApp và giảm chi phí. Thông qua EWM, các mô hình AI có quyền truy cập vào các bộ dữ liệu Web3 có cấu trúc trên chuỗi với tính đầy đủ và có thể xác minh được. Là cầu nối giữa các mô hình AI và blockchain, EWM hỗ trợ rất nhiều cho việc truy xuất và sử dụng dữ liệu cho các nhà phát triển AI.

Đã có một số dự án AI tích hợp Covalent:

• SmartWales: Nền tảng sử dụng công nghệ AI để tối ưu hóa chiến lược đầu tư giao dịch sao chép. Giao dịch sao chép dựa trên việc phân tích dữ liệu lịch sử để xác định các mô hình và chiến lược giao dịch thành công. Covalent cung cấp bộ dữ liệu blockchain toàn diện và chi tiết, qua đó SmartWales phân tích hành vi và kết quả giao dịch trong quá khứ để xác định chiến lược nào hoạt động tốt trong các điều kiện thị trường cụ thể và đề xuất chúng cho người dùng.

• BotFi: Robot giao dịch DeFi. Phân tích xu hướng thị trường và chiến lược giao dịch tự động bằng cách tích hợp dữ liệu của Covalent và tự động thực hiện các hoạt động mua bán dựa trên những thay đổi của thị trường.

• Laika AI: Sử dụng AI để phân tích toàn diện trên chuỗi. Nền tảng AI của Laika thúc đẩy mô hình AI của mình bằng cách tích hợp dữ liệu chuỗi khối có cấu trúc do Covalent cung cấp để giúp người dùng tiến hành phân tích dữ liệu phức tạp trên chuỗi.

• Entendre Finance: Quản lý tài sản DeFi tự động, cung cấp thông tin chuyên sâu và phân tích dự đoán theo thời gian thực. AI của nó tận dụng dữ liệu có cấu trúc của Covalent để đơn giản hóa và tự động hóa việc quản lý tài sản, chẳng hạn như giám sát và quản lý việc nắm giữ tài sản kỹ thuật số, tự động hóa các chiến lược giao dịch cụ thể, v.v.

EWM cũng liên tục được cải tiến và nâng cấp khi nhu cầu thay đổi. Pranay Valson  Đặc tả giao thức sẽ được mở rộng để hỗ trợ các chuỗi khối khác như Polygon và Arbitrum, đồng thời phân nhánh BSP sẽ được tích hợp vào các máy khách Ethereum như Nethermind và Besu để đạt được khả năng tương thích và ứng dụng rộng hơn. Ngoài ra, EWM sẽ sử dụng các cam kết KZG khi xử lý các giao dịch blob trên chuỗi beacon để cải thiện hiệu quả lưu trữ và truy xuất dữ liệu cũng như giảm chi phí lưu trữ.