摘要：Covalent的EthereumWaybackMachine（EWM）不僅是一個(gè)長期數(shù)據(jù)存儲(chǔ)解決方案，也是一個(gè)可以實(shí)現(xiàn)數(shù)據(jù)查詢和分析的完整系統(tǒng)。EWM作為長期DA解決方案，能夠永久存儲(chǔ)數(shù)據(jù)，包括blob數(shù)據(jù)，可以應(yīng)對(duì)因狀態(tài)過期和數(shù)據(jù)分片帶來的歷史數(shù)據(jù)可訪問性問題。...
原文作者：0xnatalie
原文來源：substack
以太坊狀態(tài)數(shù)據(jù)膨脹問題與解決方案
隨著以太坊網(wǎng)絡(luò)的流行和應(yīng)用需求的增加，其歷史狀態(tài)數(shù)據(jù)開始快速增長。為應(yīng)對(duì)這一問題，以太坊一步步改進(jìn)，從最初的全節(jié)點(diǎn)到輕客戶端，再到近期的 Dencun 升級(jí)引入狀態(tài)過期功能來自動(dòng)清理長期未使用的數(shù)據(jù)。
以太坊的長期目標(biāo)之一是通過實(shí)現(xiàn)分片將數(shù)據(jù)分散到不同的區(qū)塊鏈上，來減少單個(gè)區(qū)塊鏈的負(fù)載，Dencun 升級(jí)中實(shí)施的 EIP-4844 是以太坊網(wǎng)絡(luò)向全面實(shí)施分片的重要一步。EIP-4844 引入了「blobs」臨時(shí)數(shù)據(jù)類型，讓 Rollup 以更低的成本提交更多數(shù)據(jù)到以太坊主鏈。為了控制狀態(tài)數(shù)據(jù)膨脹，以太坊將 blobs 數(shù)據(jù)在共識(shí)層節(jié)點(diǎn)存儲(chǔ)約 18 天后刪除。
除了以太坊自身的改進(jìn)，還有一些項(xiàng)目比如 Celestia、Avail 和EigenDA也在構(gòu)建解決方案以改善數(shù)據(jù)問題。他們提供了有效的短期數(shù)據(jù)可用性（DA）解決方案，增強(qiáng)了區(qū)塊鏈的實(shí)時(shí)操作和可擴(kuò)展性。然后這些方案并沒有解決那些需要長期訪問歷史數(shù)據(jù)的應(yīng)用，如那些依賴于長期存儲(chǔ)用戶身份驗(yàn)證數(shù)據(jù)的 dApp 或需要進(jìn)行人工智能模型訓(xùn)練的 dApp。
為了解決以太坊生態(tài)系統(tǒng)中長期數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)，EthStorage、Pinax、Covalent等項(xiàng)目提出了解決方法。EthStorage 為 Rollup 提供了長期的 DA，確保數(shù)據(jù)可以長期被訪問和使用。Pinax、The Graph和StreamingFast聯(lián)合開發(fā)了長期存儲(chǔ)和檢索 blobs 數(shù)據(jù)包的方案。Covalent 的 Ethereum Wayback Machine（EWM）不僅是一個(gè)長期數(shù)據(jù)存儲(chǔ)解決方案，也是一個(gè)可以實(shí)現(xiàn)數(shù)據(jù)查詢和分析的完整系統(tǒng)。
隨著人工智能成為全球技術(shù)發(fā)展的主流趨勢(shì)，其與區(qū)塊鏈技術(shù)的結(jié)合也被視為未來的發(fā)展方向。這種趨勢(shì)導(dǎo)致了對(duì)歷史數(shù)據(jù)訪問和分析需求在不斷增長。在這種背景下，EWM 展示出其獨(dú)特的優(yōu)勢(shì)。EWM 提供了對(duì)以太坊歷史數(shù)據(jù)歸檔和數(shù)據(jù)處理，使得用戶可以檢索復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，對(duì)智能合約的內(nèi)部狀態(tài)、交易結(jié)果、事件日志等進(jìn)行深入分析和查詢。
Ethereum Wayback Machine (EWM) 簡介
Ethereum Wayback Machine（EWM）借鑒了 Wayback Machine 的概念，保存以太坊上的歷史數(shù)據(jù)，并使其可以被訪問和驗(yàn)證。Wayback Machine 是由互聯(lián)網(wǎng)檔案館 (Internet Archive) 創(chuàng)建的一個(gè)數(shù)字檔案項(xiàng)目，旨在記錄和保存互聯(lián)網(wǎng)的歷史。這個(gè)工具允許用戶查看過去不同時(shí)間點(diǎn)上某個(gè)網(wǎng)站的存檔版本，幫助人們了解網(wǎng)站內(nèi)容的歷史變化。
歷史數(shù)據(jù)是區(qū)塊鏈誕生的根本原因，不僅支撐了區(qū)塊鏈的技術(shù)架構(gòu)，也是其經(jīng)濟(jì)模型的基石。區(qū)塊鏈設(shè)計(jì)之初，就是為了提供一個(gè)公開、不可更改的歷史記錄。比如比特幣，是為了創(chuàng)建一個(gè)不可篡改、去中心化的賬本，它記錄每一筆交易的歷史，以保證交易的透明性和安全性。歷史數(shù)據(jù)的需求場景非常廣泛，但目前缺乏一種高效且可驗(yàn)證的存儲(chǔ)方式。EWM 作為長期 DA 解決方案，能夠永久存儲(chǔ)數(shù)據(jù)，包括 blob 數(shù)據(jù)，可以應(yīng)對(duì)因狀態(tài)過期和數(shù)據(jù)分片帶來的歷史數(shù)據(jù)可訪問性問題。EWM 專注以太坊上歷史數(shù)據(jù)的歸檔和長期可訪問性，支持復(fù)雜的數(shù)據(jù)結(jié)構(gòu)查詢。接下來，我們將詳細(xì)探討 EWM 如何通過其獨(dú)特的數(shù)據(jù)處理流程，實(shí)現(xiàn)這一目標(biāo)。
EWM 的數(shù)據(jù)處理流程：提取、精煉與索引
Covalent 是為用戶提供對(duì)區(qū)塊鏈數(shù)據(jù)的訪問和查詢服務(wù)的平臺(tái)。它通過捕獲和索引區(qū)塊鏈數(shù)據(jù)，并將其存儲(chǔ)在網(wǎng)絡(luò)上的多個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)了數(shù)據(jù)的可靠存儲(chǔ)和快速訪問。Covalent 通過 Ethereum Wayback Machine（EWM）來處理數(shù)據(jù)，確保區(qū)塊鏈歷史數(shù)據(jù)的持續(xù)可訪問性。EWM 數(shù)據(jù)處理流程包括三個(gè)關(guān)鍵步驟：提取和導(dǎo)出（Extraction and Export）、精煉（Refinement）、索引和查詢（Indexing and Query）。
- 提取和導(dǎo)出：這是流程的第一步，涉及到從區(qū)塊鏈網(wǎng)絡(luò)中直接提取歷史交易數(shù)據(jù)。這一步驟由專門的實(shí)體，即 Block Specimen Producers（BSP），執(zhí)行。BSP 的主要任務(wù)是創(chuàng)建并保存「區(qū)塊樣本」，即區(qū)塊鏈數(shù)據(jù)的原始快照。這些區(qū)塊樣本作為區(qū)塊鏈歷史狀態(tài)的規(guī)范表示，關(guān)鍵在于保持?jǐn)?shù)據(jù)的完整性和準(zhǔn)確性。創(chuàng)建后，這些區(qū)塊樣本會(huì)被上傳到分布式服務(wù)器上（基于 IPFS 構(gòu)建），并通過 ProofChain 合約進(jìn)行發(fā)布和驗(yàn)證。這樣不僅確保了數(shù)據(jù)的安全性，同時(shí)也為其他人提供了關(guān)于數(shù)據(jù)已被安全保存的信號(hào)。
- 精煉：在數(shù)據(jù)提取后，由 Block Results Producers（BRP）來精煉。BRP 負(fù)責(zé)將基礎(chǔ)數(shù)據(jù)轉(zhuǎn)化為更有用的形式。傳統(tǒng)的區(qū)塊鏈數(shù)據(jù)訪問方法通常只能提供有限的信息，且不易于查詢復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。通過重新執(zhí)行和轉(zhuǎn)換數(shù)據(jù)，BRP 能夠提供更詳盡的信息，如合約內(nèi)部狀態(tài)、交易執(zhí)行路徑等。此外，BRP 通過預(yù)處理和存儲(chǔ)加工后的數(shù)據(jù)，顯著減少了對(duì)每次查詢或數(shù)據(jù)分析重新運(yùn)行完整節(jié)點(diǎn)的需求，從而提高了查詢速度，并降低了存儲(chǔ)和計(jì)算成本。至此，原始的「區(qū)塊樣本」被轉(zhuǎn)化為更容易被查詢和分析的形式「區(qū)塊結(jié)果」。這一過程不僅加快了 Covalent 網(wǎng)絡(luò)的性能，也為數(shù)據(jù)的進(jìn)一步查詢和分析提供了更多的可能性。
- 索引和查詢：最后查詢運(yùn)營商（Query Operators）將處理好的數(shù)據(jù)整理并保存在便于查找的位置。根據(jù) API 用戶的需求，從分布式服務(wù)器中提取數(shù)據(jù)，確保歷史和實(shí)時(shí)數(shù)據(jù)都可以用于響應(yīng) API 查詢。這樣用戶便能夠有效地訪問和利用存儲(chǔ)在 Covalent 網(wǎng)絡(luò)中的區(qū)塊鏈數(shù)據(jù)。
Covalent 提供統(tǒng)一的 GoldRush API，支持從多個(gè)區(qū)塊鏈（如以太坊、Polygon、Solana 等）獲取歷史數(shù)據(jù)。這個(gè) GoldRush API 為開發(fā)者提供一站式數(shù)據(jù)解決方案，允許開發(fā)者通過單一的調(diào)用獲取賬戶的 ERC20 代幣余額和 NFT 數(shù)據(jù)，從而輕松構(gòu)建加密貨幣和 NFT 錢包（如Rainbow、Zerion），極大簡化了開發(fā)流程。此外，使用 API 訪問 DA 數(shù)據(jù)需要消耗信用積分（Credit），不同類型的請(qǐng)求被分為不同類別（A 類、B 類、C 類等），每個(gè)類別都有自己特定的信用成本。這筆收入用于支持運(yùn)營商網(wǎng)絡(luò)。
未來展望
隨著 AI 的快速發(fā)展，AI 與區(qū)塊鏈的結(jié)合趨勢(shì)愈發(fā)明顯。區(qū)塊鏈技術(shù)為 AI 提供了一個(gè)不可篡改且分布式驗(yàn)證的數(shù)據(jù)來源，增強(qiáng)了數(shù)據(jù)透明度和信任度，使 AI 模型在數(shù)據(jù)分析和決策制定時(shí)更精確可靠。AI 通過分析鏈上數(shù)據(jù)，能優(yōu)化算法和預(yù)測(cè)趨勢(shì)，從而直接執(zhí)行復(fù)雜任務(wù)和交易，顯著提高 dApp 的效率和降低成本。通過 EWM，AI 模型可以訪問廣泛的鏈上結(jié)構(gòu)化 Web3 數(shù)據(jù)集，并且這些數(shù)據(jù)具有完整性和可驗(yàn)證性。EWM 作為 AI 模型與區(qū)塊鏈之間的橋梁，極大地方便了AI 開發(fā)人員的數(shù)據(jù)檢索和利用。
目前已經(jīng)有一些 AI 項(xiàng)目整合了 Covalent：
- SmartWhales：利用 AI 技術(shù)優(yōu)化復(fù)制交易（copy trading）投資策略的平臺(tái)。復(fù)制交易依賴于對(duì)歷史數(shù)據(jù)的分析來識(shí)別成功的交易模式和策略。 Covalent 提供全面且詳盡的區(qū)塊鏈數(shù)據(jù)集，SmartWhales 通過這些數(shù)據(jù)分析過去的交易行為和結(jié)果，識(shí)別出哪些策略在特定市場條件下表現(xiàn)良好推薦給用戶。
- BotFi：DeFi 交易機(jī)器人。通過整合 Covalent 的數(shù)據(jù)來分析市場趨勢(shì)和自動(dòng)化交易策略，并根據(jù)市場變化自動(dòng)進(jìn)行買賣操作?。
- Laika AI：利用 AI 進(jìn)行全面的鏈上分析。Laika AI 平臺(tái)通過整合 Covalent 提供的結(jié)構(gòu)化區(qū)塊鏈數(shù)據(jù)，來驅(qū)動(dòng)其 AI 模型，幫助用戶進(jìn)行復(fù)雜的鏈上數(shù)據(jù)分析。
- Entendre Finance: 自動(dòng)化 DeFi 資產(chǎn)管理，提供實(shí)時(shí)洞察和預(yù)測(cè)分析。其 AI 利用 Covalent 的結(jié)構(gòu)化數(shù)據(jù)來簡化和自動(dòng)化資產(chǎn)管理，比如監(jiān)控和管理數(shù)字資產(chǎn)的持有情況、自動(dòng)執(zhí)行特定的交易策略等。
EWM 也在隨著需求的改變不斷的改進(jìn)升級(jí)，Covalent 工程師 Pranay Valson表示，未來 EWM 將擴(kuò)展協(xié)議規(guī)范以支持其他區(qū)塊鏈如 Polygon 和 Arbitrum，并會(huì)將 BSP 分叉集成到如 Nethermind 和 Besu 等以太坊客戶端中，以實(shí)現(xiàn)更廣泛的兼容性和應(yīng)用。此外，EWM 在信標(biāo)鏈上處理 blob 交易時(shí)，將使用 KZG 承諾，以提升數(shù)據(jù)的存儲(chǔ)和檢索效率，減少存儲(chǔ)成本。
