تطور الوصول إلى بيانات Web3: مقدمة للمفهرسات والمشاريع ذات الصلة

المؤلف: Geng Kai, DFG

أهمية البيانات في blockchain

البيانات هي مفتاح تقنية blockchain والأساس لتطوير التطبيقات اللامركزية (dApp). في حين أن الكثير من المناقشة الحالية تدور حول مدى توفر البيانات (DA) - التأكد من أن كل مشارك في الشبكة لديه القدرة على الوصول إلى بيانات المعاملات الأخيرة للتحقق منها - هناك جانب لا يقل أهمية والذي غالبا ما يتم تجاهله: إمكانية الوصول إلى البيانات.

في عصر blockchain المعياري، أصبحت حلول DA لا غنى عنها. وتضمن هذه الحلول إتاحة بيانات المعاملات لجميع المشاركين، مما يتيح التحقق في الوقت الفعلي والحفاظ على سلامة الشبكة. ومع ذلك، تعمل طبقة DA مثل لوحة الإعلانات أكثر من كونها قاعدة بيانات. وهذا يعني أن البيانات لا يتم تخزينها إلى أجل غير مسمى؛ بل يتم حذفها بمرور الوقت، تمامًا كما يتم استبدال ملصق على لوحة إعلانية في النهاية بآخر جديد.

من ناحية أخرى، تركز إمكانية الوصول إلى البيانات على القدرة على استرداد البيانات التاريخية، وهو أمر بالغ الأهمية لتطوير التطبيقات اللامركزية وإجراء تحليل blockchain المهم. . يعد هذا الجانب أمرًا بالغ الأهمية للمهام التي تتطلب الوصول إلى البيانات السابقة لضمان التمثيل والتنفيذ الدقيقين. على الرغم من أن إمكانية الوصول إلى البيانات أمر مهم وأقل مناقشة، إلا أنه لا يقل أهمية عن توافر البيانات. يلعب الاثنان أدوارًا مختلفة ولكن متكاملة في النظام البيئي لـ blockchain، ويجب أن يعالج النهج الشامل لإدارة البيانات كلتا القضيتين لدعم تطبيقات blockchain القوية والفعالة.

كيف تم استرداد بيانات blockchain سابقًا

منذ بدايتها، أحدثت تقنية blockchain ثورة في البنية التحتية وعززت إنشاء التطبيقات اللامركزية (dApps) في مختلف المجالات بما في ذلك الألعاب والتمويل والشبكات الاجتماعية. ومع ذلك، فإن بناء هذه التطبيقات اللامركزية يتطلب الوصول إلى كميات كبيرة من بيانات البلوكشين، وهو أمر صعب ومكلف.

أحد الخيارات لمطوري التطبيقات اللامركزية هو استضافة وتشغيل عقد RPC المؤرشفة الخاصة بهم. تقوم هذه العقد بتخزين جميع بيانات blockchain التاريخية من البداية، مما يسمح بالوصول الكامل إلى البيانات. ومع ذلك، فإن صيانة عقد الأرشيف أمر مكلف وله إمكانيات استعلام محدودة، مما يجعل من المستحيل الاستعلام عن البيانات بالتنسيق الذي يحتاجه المطورون. على الرغم من أن تشغيل عقد أرخص يعد خيارًا، إلا أن هذه العقد تتمتع بقدرات محدودة على استرجاع البيانات، مما قد يعيق تشغيل التطبيقات اللامركزية.

هناك طريقة أخرى تتمثل في استخدام موفر عقدة RPC (استدعاء الإجراء البعيد) التجاري. يتحمل هؤلاء الموفرون مسؤولية تكلفة العقد وإدارتها وتوفير البيانات عبر نقاط نهاية RPC. نقاط نهاية RPC العامة مجانية ولكن لها حدود للمعدل قد تؤثر سلبًا على تجربة مستخدم dApp. توفر نقاط نهاية RPC الخاصة أداءً أفضل من خلال تقليل الازدحام، ولكن حتى استرداد البيانات البسيط يتطلب الكثير من الاتصالات ذهابًا وإيابًا. وهذا يجعلها كثيفة الطلب وغير فعالة لاستعلامات البيانات المعقدة. بالإضافة إلى ذلك، غالبًا ما يكون من الصعب توسيع نطاق نقاط نهاية RPC الخاصة وتفتقر إلى التوافق عبر الشبكات المختلفة.

بديل أفضل: مفهرس blockchain

Blockchain تلعب المفهرسات دورًا حيويًا في تنظيم البيانات الموجودة على السلسلة وإرسالها إلى قواعد البيانات للاستعلام عنها بسهولة، ولهذا السبب يُطلق عليها غالبًا "Google of blockchain". وهي تعمل عن طريق فهرسة بيانات blockchain وإتاحتها بسهولة من خلال لغة استعلام تشبه SQL (باستخدام واجهات برمجة التطبيقات مثل GraphQL). ومن خلال توفير واجهة موحدة للاستعلام عن البيانات، تسمح المفهرسات للمطورين باسترجاع المعلومات المطلوبة بسرعة ودقة باستخدام لغة استعلام موحدة، مما يبسط العملية إلى حد كبير.

تعمل أنواع مختلفة من الفهارس على تحسين عملية استرجاع البيانات بطرق مختلفة:

< li>

مفهرسات العقدة الكاملة: تقوم هذه المفهرسات بتشغيل عقد blockchain كاملة واستخراج البيانات منها مباشرة، مما يضمن أن البيانات كاملة ودقيقة، ولكنه يتطلب قوة تخزين ومعالجة كبيرة.

1. المفهرسات خفيفة الوزن: تعتمد هذه المفهرسات على العقد الكاملة للحصول على بيانات محددة، وبالتالي تقليل متطلبات التخزين ولكن من المحتمل أن تزيد أوقات الاستعلام.

2. المفهرسات المتخصصة: هذه المفهرسات متخصصة في أنواع معينة من البيانات أو سلسلة كتل محددة يعمل على تحسين الاسترجاع لحالات استخدام محددة، مثل بيانات NFT أو معاملات DeFi.

3. المفهرسات المجمعة: تسحب هذه المفهرسات من سلاسل الكتل ومصادر البيانات المتعددة، بما في ذلك البيانات الخارجية. توفر معلومات السلسلة واجهة استعلام موحدة، وهي مفيدة بشكل خاص للتطبيقات اللامركزية متعددة السلاسل.

يتطلب Ethereum وحده مساحة تخزين تبلغ 3 تيرابايت، ومع استمرار نمو blockchain، تزداد سعة تخزين البيانات ستستمر أيضًا زيادة عدد عقد أرشيف Erigon. ينشر بروتوكول المفهرس مفهرسات متعددة لفهرسة كميات كبيرة من البيانات والاستعلام عنها بكفاءة بسرعات عالية غير ممكنة مع RPC.

يسمح المفهرس أيضًا بالاستعلامات المعقدة، والتصفية السهلة للبيانات بناءً على معايير مختلفة، وتحليل البيانات بعد الاستخراج. تسمح بعض المفهرسات أيضًا بتجميع البيانات من مصادر متعددة، وبالتالي تجنب الحاجة إلى نشر واجهات برمجة تطبيقات متعددة في تطبيقات dApps متعددة السلاسل. من خلال توزيعها عبر عقد متعددة، توفر المفهرسات أمانًا وأداءً محسنًا، في حين قد يواجه موفرو RPC انقطاعات في الخدمة ووقت توقف بسبب طبيعتها المركزية.

بشكل عام، تعمل المفهرسات على تحسين كفاءة وموثوقية استرجاع البيانات مقارنة بموفري عقدة RPC، مع تقليل تكلفة نشر عقدة واحدة أيضًا. وهذا يجعل بروتوكول Blockchain Indexer الخيار الأفضل لمطوري التطبيقات اللامركزية.

حالة استخدام المفهرس

كما كان من قبل كما كان من قبل المذكورة أعلاه، يتطلب إنشاء تطبيق dApp استرداد وقراءة بيانات blockchain لتشغيل خدماته. يتضمن ذلك أي نوع من التطبيقات اللامركزية، بما في ذلك منصات DeFi وNFT والألعاب وحتى الشبكات الاجتماعية، حيث تحتاج هذه المنصات إلى قراءة البيانات قبل أن تتمكن من إجراء معاملات أخرى.

DeFi

تتطلب بروتوكولات DeFi معلومات مختلفة يمكن أن توفر للمستخدمين أسعارًا وأسعارًا ورسومًا محددة وما إلى ذلك. ويتطلب صانعو السوق الآليون (AMMs) معلومات عن الأسعار والسيولة حول مجموعات معينة لحساب معدلات المقايضة، في حين تتطلب بروتوكولات الإقراض الاستخدام لتحديد معدلات الإقراض ونسب الديون المصفاة. قبل حساب سعر الفائدة الذي يؤديه المستخدم، من الضروري إدخال المعلومات في تطبيقه اللامركزي.

اللعبة

يتطلب GameFi فهرسة سريعة و الوصول إلى البيانات لضمان اللعب السلس للمستخدمين. فقط من خلال استرجاع البيانات وتنفيذها بسرعة البرق، يمكن لألعاب Web3 أن تنافس ألعاب Web2 في الأداء، وبالتالي جذب المزيد من المستخدمين. تتطلب هذه الألعاب بيانات مثل ملكية الأرض وأرصدة الرموز المميزة داخل اللعبة والإجراءات داخل اللعبة والمزيد. باستخدام المفهرسات، يمكنهم ضمان تدفق مستقر للبيانات ووقت تشغيل ثابت بشكل أفضل لضمان تجربة ألعاب لا تشوبها شائبة.

NFT

سوق NFT ومنصة الإقراض هناك حاجة إلى البيانات المفهرسة للوصول إلى مجموعة متنوعة من المعلومات، مثل البيانات التعريفية لـ NFT، وبيانات الملكية والنقل، ومعلومات حقوق الملكية، والمزيد. تؤدي فهرسة هذه البيانات بسرعة إلى إلغاء الحاجة إلى تصفح كل NFT على حدة للعثور على بيانات الملكية أو سمات NFT.

سواء كان صانع سوق DeFi الآلي (AMM) الذي يحتاج إلى معلومات عن السعر والسيولة، أو تطبيق SocialFi الذي يحتاج إلى تحديث مستخدم جديد تعد القدرة على استرداد البيانات بسرعة أمرًا ضروريًا لكي تعمل التطبيقات اللامركزية بشكل صحيح. وبمساعدة المفهرسين، يمكنهم استرداد البيانات بكفاءة وبشكل صحيح، مما يوفر تجربة مستخدم سلسة.

التحليل

يوفر المفهرس رمز A طريقة لاستخراج بيانات محددة من بيانات blockchain الخام، بما في ذلك أحداث العقد الذكي في كل كتلة. وهذا يوفر الفرصة لتحليل بيانات أكثر تحديدًا لتقديم رؤى شاملة.

على سبيل المثال، يمكن لبروتوكول التداول الدائم اكتشاف الرموز المميزة التي لها حجم معاملات مرتفع وأي الرموز المميزة التي تتحمل رسومًا، وبالتالي تحديد ما إذا كان سيتم استخدام هذه الرموز المميزة أم لا يتم إدراجها على منصتهم كعقود دائمة. يمكن لمطوري DEX إنشاء لوحات معلومات لمنتجاتهم للحصول على رؤى حول المجموعات التي تحقق أعلى العوائد أو الأكثر سيولة. يمكن أيضًا إنشاء لوحات معلومات عامة، مما يمنح المطورين الحرية والمرونة في الاستعلام عن أي نوع من البيانات التي سيتم عرضها على المخططات.

نظرًا لوجود العديد من مفهرسات blockchain المتاحة، فإن تحديد الاختلافات بين بروتوكولات الفهرسة أمر مهم لضمان اختيار المطورين للبروتوكول الذي يناسب احتياجاتهم. المفهرس أمر بالغ الأهمية.

نظرة عامة على مفهرس Blockchain

نظرة عامة على المفهرس

الرسم البياني

الرسم البياني هو أول بروتوكول مفهرس تم إطلاقه على إيثريوم، مما يجعل من السهل الاستعلام عن بيانات المعاملات التي لم يكن من السهل الوصول إليها من قبل. ويستخدم الرسوم البيانية الفرعية لتحديد وتصفية مجموعات فرعية من البيانات التي تم جمعها من blockchain، مثل جميع المعاملات المتعلقة بمجمع Uniswap v3 USDC/ETH.

باستخدام دليل الفهرس، يتعهد المفهرس برمز GRT الأصلي لخدمات الفهرسة والاستعلام، ويمكن للمدير اختيار التعهد برموزه المميزة هنا. . يتمتع المنسقون بإمكانية الوصول إلى الرسوم البيانية الفرعية عالية الجودة لمساعدة المفهرسين في تحديد الرسوم البيانية الفرعية التي سيتم فهرستها للحصول على رسوم الاستعلام المثالية. في انتقالها إلى قدر أكبر من اللامركزية، ستتوقف The Graph في النهاية عن خدمات الاستضافة الخاصة بها وتتطلب رسومًا بيانية فرعية للترقية إلى شبكتها، إلى جانب الفهارس التي تمت ترقيتها.

تتيح البنية التحتية الخاصة بهم متوسط ​​تكلفة لكل مليون استفسار بقيمة 40 دولارًا، وهو أقل بكثير من تكلفة العقد المستضافة ذاتيًا. وباستخدام مصادر بيانات الملفات، فإنه يدعم أيضًا الفهرسة المتوازية لكل من البيانات الموجودة على السلسلة وخارجها لاسترجاع البيانات بكفاءة.

انظر إلى مكافآت مفهرس The Graph، والتي كانت تنمو بشكل مطرد خلال الأرباع القليلة الماضية. ويرجع ذلك جزئيًا إلى زيادة حجم الاستعلامات، ولكن أيضًا بسبب الزيادة في سعر الرمز المميز حيث يخططون لدمج الاستعلامات المدعومة بالذكاء الاصطناعي في المستقبل.

الحبار الفرعي

الحبار الفرعي هو نقطة- إلى نقطة، بحيرة بيانات لا مركزية قابلة للتطوير أفقيًا تعمل على تجميع كميات كبيرة من البيانات الموجودة على السلسلة وخارجها بكفاءة وتؤمنها بإثباتات المعرفة الصفرية. باعتبارها شبكة لا مركزية من العمال، تكون كل عقدة مسؤولة عن تخزين البيانات من مجموعة فرعية محددة من الكتل، مما يؤدي إلى تسريع عملية استرجاع البيانات من خلال تحديد العقد التي تحتوي على البيانات المطلوبة بسرعة.

يدعم Subsquid أيضًا الفهرسة في الوقت الفعلي، مما يسمح بفهرسة الكتل قبل الانتهاء منها. كما أنه يدعم تخزين البيانات بالتنسيق الذي يختاره المطور، مما يسمح بتحليل أسهل باستخدام أدوات مثل BigQuery أو Parquet أو CSV. بالإضافة إلى ذلك، يمكن نشر الرسوم البيانية الفرعية على شبكة Subsquid دون الترحيل إلى Squid SDK، مما يتيح النشر بدون تعليمات برمجية.

على الرغم من أنه لا يزال في مرحلة testnet، فقد حقق Subsquid إحصائيات مثيرة للإعجاب مع أكثر من 80.000 مستخدم لشبكة الاختبار ونشر أكثر من 60.000 مفهرس Squid، مع أكثر من 20.000 تم التحقق منها. المطورين على الشبكة. ومؤخرًا، في 3 يونيو، أطلقت شركة Subsquid الشبكة الرئيسية لبحيرة البيانات الخاصة بها.

بالإضافة إلى الفهرسة، يمكن استخدام مستودعات بيانات شبكة Subsquid في حالات الاستخدام مثل التحليلات والمعالجات المساعدة ZK/TEE ووكلاء الذكاء الاصطناعي و أوراكل تستبدل RPC.

استعلام فرعي

استعلام فرعي هو استعلام لامركزي شبكة بنية تحتية مركزية للبرمجيات الوسيطة توفر خدمات RPC وبيانات الفهرس. لقد دعمت في البداية شبكتي Polkadot وSubstrate وتوسعت الآن لتشمل أكثر من 200 سلسلة. إنه يعمل بشكل مشابه للرسم البياني باستخدام إثبات الفهرس، حيث يقوم المفهرس بفهرسة البيانات وتقديم طلبات الاستعلام، ويقوم المفوضون بتوزيع أسهمهم على المفهرس. ومع ذلك، فهو يقدم للمستهلكين إمكانية تقديم أوامر الشراء لإظهار أن دخل المفهرس مضمون، وليس دخل المدير.

وسيقدم عقد بيانات SubQuery التي تدعم التجزئة لمنع مزامنة البيانات الجديدة باستمرار بين كل عقدة، وبالتالي تحسين كفاءة الاستعلام أثناء النقل نحو مزيد من اللامركزية. يمكن للمستخدمين اختيار دفع رسوم حسابية تبلغ حوالي رمز SQT واحد لكل 1000 طلب، أو تعيين رسوم مخصصة للمفهرس من خلال البروتوكول.

على الرغم من أن SubQuery أطلقت رمزها المميز فقط في وقت سابق من هذا العام، إلا أن مكافآت إصدار العقد والمفوض يتم أيضًا تقييمها بالدولار الأمريكي شهريًا النمو، والذي يمثل أيضًا عددًا متزايدًا من خدمات الاستعلام المقدمة على منصتها. منذ حدث TGE، ارتفع إجمالي حجم حصة SQT من 6 ملايين إلى 125 مليونًا، مما يسلط الضوء على نموها في المشاركة في الشبكة.

تساهمي

التساهمي هو- استنادًا إلى شبكة المفهرس، تقوم عقد شبكة Block Sample Producer (BSP) بإنشاء نسخ من بيانات blockchain من خلال تصدير الدُفعات ونشر الأدلة على Covalent L1 blockchain. يتم بعد ذلك تحسين هذه البيانات بواسطة عقدة منتج نتائج الكتلة (BRP) وفقًا للقواعد المحددة، ويتم تصفية البيانات التي تلبي المتطلبات.

باستخدام واجهة برمجة التطبيقات الموحدة، يمكن للمطورين بسهولة استخراج بيانات blockchain ذات الصلة بتنسيقات طلب واستجابة متسقة دون كتابة بيانات مخصصة يمكن الوصول إليها من خلال استعلامات معقدة . يمكن استخراج مجموعات البيانات المكونة مسبقًا هذه من مشغلي الشبكات باستخدام رموز CQT المميزة على Moonbeam كوسيلة للدفع.

يبدو أن مكافآت Covalent تسير في اتجاه النمو الإجمالي من الربع الأول من عام 2023 إلى الربع الأول من عام 2024، ويرجع ذلك جزئيًا إلى جيل Covalent ارتفاع سعر عملة CQT.

ملاحظات حول اختيار مفهرس

قابلية التخصيص من البيانات

بعض المفهرسات (مثل Covalent) عبارة عن مفهارسات للأغراض العامة توفر فقط مجموعات بيانات قياسية تم تكوينها مسبقًا من خلال واجهة برمجة التطبيقات (API). على الرغم من أنها قد تكون سريعة، إلا أنها لا توفر المرونة للمطورين الذين يحتاجون إلى مجموعات بيانات مخصصة. باستخدام إطار عمل المفهرس، فإنه يسمح بمزيد من معالجة البيانات المخصصة لتلبية الاحتياجات الخاصة بالتطبيق.

الأمان

يجب أن تكون بيانات الفهرس آمنة وإلا فإن التطبيقات اللامركزية المبنية على هذه المفهرسات ستكون أيضًا عرضة للهجمات. على سبيل المثال، إذا كان من الممكن التلاعب بالمعاملات وأرصدة المحفظة، فإن التطبيق اللامركزي يخاطر بفقدان السيولة، مما يؤثر على مستخدميه. بينما يستخدم جميع المفهرسين شكلاً من أشكال الأمان من خلال الرموز المميزة للمفهرس، قد تستخدم حلول المفهرس الأخرى البراهين لزيادة الأمان.

يوفر Subsquid خيار استخدام البراهين المتفائلة وصفر المعرفة، بينما تنشر Covalent أيضًا البراهين التي تتضمن تجزئة الكتلة. يوفر Graph فترات تحدي مثيرة للجدل لاستعلامات المفهرس في شكل نوافذ تحدي متفائلة، بينما يقوم SubQuery بإنشاء أدلة Merkle Mountain لكل كتلة لحساب التجزئة لكل كتلة من جميع البيانات المخزنة في قاعدة بياناتها.

السرعة وقابلية التوسع

مع مع استمرار نمو blockchain، تنمو أيضًا أحجام المعاملات، مما يجعل فهرسة كميات كبيرة من البيانات أكثر تعقيدًا نظرًا للحاجة إلى المزيد من قوة المعالجة ومساحة التخزين. ومع نمو شبكات البلوكشين، يصبح الحفاظ على الكفاءة أكثر صعوبة، ولكن بروتوكول المفهرس يقدم حلولاً لتلبية هذه الاحتياجات المتزايدة.

على سبيل المثال، يقوم Subsquid بالتحجيم أفقيًا عن طريق إضافة المزيد من العقد لتخزين البيانات، مما يسمح له بالتوسع مع تحسن الأجهزة. يوفر Graph بيانات متدفقة متوازية لمزامنة أسرع للبيانات، بينما يقدم SubQuery تقسيم العقدة لتسريع عملية المزامنة.

الشبكات المدعومة

على الرغم من أن معظم أنشطة Blockchain لا يزال هذا يحدث داخل الإيثيريوم، لكن سلاسل الكتل المختلفة أصبحت أكثر شيوعًا بمرور الوقت. على سبيل المثال، تمتلك سلاسل النظام البيئي Layer 2s وSolana وMove blockchain وBitcoin مجموعتها الخاصة من المطورين والأنشطة المتنامية، والتي تتطلب أيضًا خدمات الفهرسة.

قد يؤدي توفير الدعم لسلاسل معينة غير مدعومة بواسطة بروتوكولات المفهرس الأخرى إلى كسب المزيد من رسوم حصة السوق. إن فهرسة الشبكات كثيفة البيانات مثل Solana ليست مهمة سهلة، وحتى الآن لم ينجح سوى Subsquid في توفير دعم الفهرسة لها.

الاستنتاج

على الرغم من وجود المفهرس على الرغم من اعتماده على نطاق واسع في التطوير، إلا أن إمكانات المفهرسات لا تزال ضخمة، خاصة عند دمجها مع الذكاء الاصطناعي. مع استمرار الذكاء الاصطناعي في أن يصبح أكثر انتشارًا في Web2 وWeb3، فإن قدرته على التحسين تعتمد على الوصول إلى البيانات ذات الصلة لتدريب النماذج وتطوير وكلاء الذكاء الاصطناعي. يعد ضمان سلامة البيانات أمرًا بالغ الأهمية لتطبيقات الذكاء الاصطناعي لأنه يمنع تغذية النماذج بمعلومات متحيزة أو غير دقيقة.

في عالم حلول المفهرس، حقق Subsquid تقدمًا كبيرًا في الأداء ومقاييس المستخدم. لقد بدأ المستخدمون بالفعل في تجربة بناء وكلاء الذكاء الاصطناعي باستخدام Subsquid، مما يدل على تنوع النظام الأساسي وإمكاناته في عالم فهرسة البيانات المتنامي. بالإضافة إلى ذلك، تساعد أدوات مثل AutoAgora المفهرسين على استخدام الذكاء الاصطناعي لتوفير تسعير ديناميكي لخدمات الاستعلام على The Graph، بينما يدعم SubQuery شبكات الذكاء الاصطناعي المتعددة مثل OriginTrail وOrachain لفهرسة البيانات الشفافة.

من المتوقع أن يؤدي تكامل الذكاء الاصطناعي مع المفهرسات إلى تحسين إمكانية الوصول إلى البيانات وسهولة استخدامها في النظام البيئي blockchain. من خلال الاستفادة من تقنية الذكاء الاصطناعي، يمكن للمفهرسين توفير استرجاع بيانات أكثر كفاءة ودقة، مما يمكّن المطورين من إنشاء تطبيقات dApps وأدوات تحليلية أكثر تعقيدًا. ومع استمرار تطور الذكاء الاصطناعي والمفهرسات معًا، فإننا لا نزال متفائلين بشأن مستقبل فهرسة البيانات ودورها في تشكيل المشهد الرقمي اللامركزي.