TL/DR
我們?cè)懻撨^(guò)AI和Web3能夠如何各取所長(zhǎng),在計(jì)算網(wǎng)絡(luò)、代理平臺(tái)和消費(fèi)應(yīng)用等各個(gè)垂直產(chǎn)業(yè)上相輔相成。當(dāng)聚焦在數(shù)據(jù)資源這一垂直領(lǐng)域,Web新興代表項(xiàng)目為數(shù)據(jù)的獲取,共享和利用提供了新的可能性。
傳統(tǒng)數(shù)據(jù)提供商難以滿(mǎn)足AI和其他數(shù)據(jù)驅(qū)動(dòng)產(chǎn)業(yè)對(duì)高質(zhì)量、實(shí)時(shí)可驗(yàn)證數(shù)據(jù)的需求,尤其在透明度、用戶(hù)控制和隱私保護(hù)方面存在局限
Web3方案正致力重塑數(shù)據(jù)生態(tài)。MPC、零知識(shí)證明和TLSNotary等技術(shù)確保數(shù)據(jù)在多個(gè)來(lái)源之間流通時(shí)的真實(shí)性和隱私保護(hù),分布式存儲(chǔ)和邊緣計(jì)算則為數(shù)據(jù)的實(shí)時(shí)處理提供了更高的靈活性和效率。
其中Decentralization數(shù)據(jù)網(wǎng)絡(luò)這一新興基礎(chǔ)設(shè)施萌生了幾個(gè)代表性項(xiàng)目OpenLayer(模塊化的真實(shí)數(shù)據(jù)層),Grass(利用用戶(hù)閑置帶寬和Decentralization的爬蟲(chóng)Node網(wǎng)絡(luò))和Vana(用戶(hù)數(shù)據(jù)主權(quán)Layer1網(wǎng)絡(luò)),以不同的技術(shù)路徑為AI訓(xùn)練和應(yīng)用等領(lǐng)域開(kāi)辟新的前景。
通過(guò)眾包的容量、無(wú)信任的抽象層和基于Tokens的激勵(lì)機(jī)制,Decentralization數(shù)據(jù)基礎(chǔ)設(shè)施能夠提供比Web2超大規(guī)模服務(wù)商更私密、安全、高效且經(jīng)濟(jì)的解決方案,并且賦予用戶(hù)對(duì)其數(shù)據(jù)和其相關(guān)資源的控制權(quán),構(gòu)建一個(gè)更加開(kāi)放、安全和互通的數(shù)字生態(tài)系統(tǒng)。1.數(shù)據(jù)需求浪潮
數(shù)據(jù)已成為各行業(yè)創(chuàng)新和決策的關(guān)鍵驅(qū)動(dòng)。UBS預(yù)測(cè)全球數(shù)據(jù)量預(yù)計(jì)將在2020年至2030年間增長(zhǎng)超過(guò)十倍達(dá)到660ZB,到2025年,全球每人每天將產(chǎn)生463EB(Exabytes,1EB=10億GB)的數(shù)據(jù)。數(shù)據(jù)即服務(wù)(DaaS)市場(chǎng)在快速擴(kuò)張,根據(jù)GrandViewResearch的報(bào)告,全球DaaS市場(chǎng)在2023年的估值為143.6億美元,預(yù)計(jì)到2030年將以28.1%的復(fù)合年增長(zhǎng)率增長(zhǎng),最終達(dá)到768億美元。這些高增長(zhǎng)的數(shù)字背后是多個(gè)產(chǎn)業(yè)領(lǐng)域?qū)Ω哔|(zhì)量、實(shí)時(shí)可信賴(lài)數(shù)據(jù)的需求。
AI模型訓(xùn)練依賴(lài)大量數(shù)據(jù)輸入,用于識(shí)別模式和調(diào)整參數(shù)。訓(xùn)練后也需要數(shù)據(jù)集測(cè)試模型的性能和泛化能力。此外,AIagent作為未來(lái)可預(yù)見(jiàn)的新興智能應(yīng)用形式,需要實(shí)時(shí)可靠的數(shù)據(jù)源,以確保準(zhǔn)確的決策和任務(wù)執(zhí)行。
(Source:kdnuggets.com)
傳統(tǒng)數(shù)據(jù)架構(gòu)在專(zhuān)業(yè)服務(wù)方面有效,但集中化模式的局限性日益明顯。特別是在新興數(shù)據(jù)源的覆蓋、透明度和用戶(hù)隱私保護(hù)方面,傳統(tǒng)數(shù)據(jù)生態(tài)系統(tǒng)正面臨挑戰(zhàn)。這里例舉幾個(gè)方面:
數(shù)據(jù)覆蓋不足:傳統(tǒng)數(shù)據(jù)提供商在快速捕捉和分析如社交媒體情緒、物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)等新興數(shù)據(jù)源方面存在挑戰(zhàn)。中心化系統(tǒng)難以高效地獲取和整合來(lái)自眾多小規(guī);蚍侵髁鱽(lái)源的"長(zhǎng)尾"數(shù)據(jù)。
比如2021年GameStop事件就揭示了傳統(tǒng)金融數(shù)據(jù)提供商在分析社交媒體情緒時(shí)的局限性。Reddit等平臺(tái)上的投資者情緒迅速改變了市場(chǎng)走勢(shì),但像Bloomberg和Reuters這樣的數(shù)據(jù)終端未能及時(shí)捕捉到這些動(dòng)態(tài),導(dǎo)致市場(chǎng)預(yù)測(cè)滯后。
數(shù)據(jù)可訪(fǎng)問(wèn)性受限:壟斷限制了可訪(fǎng)問(wèn)性。許多傳統(tǒng)提供商通過(guò)API/云服務(wù)開(kāi)放部分?jǐn)?shù)據(jù),但高昂的訪(fǎng)問(wèn)費(fèi)用和復(fù)雜授權(quán)流程仍然增加了數(shù)據(jù)整合的難度。
鏈上開(kāi)發(fā)者難以快速接入可靠的鏈下數(shù)據(jù),高質(zhì)量數(shù)據(jù)被少數(shù)巨頭壟斷,訪(fǎng)問(wèn)成本高。
數(shù)據(jù)透明度和可信度問(wèn)題:許多中心化數(shù)據(jù)提供商對(duì)其數(shù)據(jù)收集和處理方法缺乏透明度,且缺乏有效的機(jī)制來(lái)驗(yàn)證大規(guī)模數(shù)據(jù)的真實(shí)性和完整性。大規(guī)模實(shí)時(shí)數(shù)據(jù)的驗(yàn)證仍然是一個(gè)復(fù)雜的問(wèn)題,中心化的本質(zhì)也增加了數(shù)據(jù)被篡改或操縱的風(fēng)險(xiǎn)。
隱私保護(hù)和數(shù)據(jù)所有權(quán):大型科技公司大規(guī)模商用了用戶(hù)數(shù)據(jù)。用戶(hù)作為私人數(shù)據(jù)的創(chuàng)造者,很難從中獲得應(yīng)有的價(jià)值回報(bào)。用戶(hù)通常無(wú)法了解他們的數(shù)據(jù)如何被收集、處理和使用,也難以決定數(shù)據(jù)的使用范圍和方式。過(guò)度收集和使用也導(dǎo)致嚴(yán)重的隱私風(fēng)險(xiǎn)。
例如,F(xiàn)acebook的CambridgeAnalytica事件就暴露了傳統(tǒng)數(shù)據(jù)提供商如何在數(shù)據(jù)使用透明度和隱私保護(hù)方面存在巨大漏洞。
數(shù)據(jù)孤島:此外,不同來(lái)源、格式的實(shí)時(shí)數(shù)據(jù)難以快速整合,影響了全面分析的可能性。很多數(shù)據(jù)往往被鎖在組織內(nèi)部,限制了跨行業(yè)和跨組織的數(shù)據(jù)共享和創(chuàng)新,數(shù)據(jù)孤島效應(yīng)阻礙了跨域的數(shù)據(jù)整合和分析。
比如在消費(fèi)行業(yè),品牌需要整合來(lái)自電商平臺(tái)、實(shí)體店、社交媒體和市場(chǎng)研究的數(shù)據(jù),但這些數(shù)據(jù)可能由于平臺(tái)形式不統(tǒng)一或被隔離,難以整合。再例如,像Uber和Lyft這樣的共享出行公司,雖然它們都收集大量來(lái)自用戶(hù)的,關(guān)于交通、乘客需求和地理位置的實(shí)時(shí)數(shù)據(jù),但由于競(jìng)爭(zhēng)關(guān)系,這些數(shù)據(jù)無(wú)法提出并共享整合。
除此以外,還有成本效率、靈活性等問(wèn)題。傳統(tǒng)數(shù)據(jù)商正在積極應(yīng)對(duì)這些挑戰(zhàn), 但異軍突起的Web3技術(shù)為解決這些問(wèn)題提供了新的思路和可能性。3.Web3數(shù)據(jù)生態(tài)
自2014年IPFS(InterPlanetaryFileSystem)等Decentralization存儲(chǔ)方案發(fā)布以來(lái),業(yè)界涌現(xiàn)出一系列新興項(xiàng)目,致力于解決傳統(tǒng)數(shù)據(jù)生態(tài)的局限性。我們看到Decentralization數(shù)據(jù)解決方案已經(jīng)形成了一個(gè)多層次、相互連接的生態(tài)系統(tǒng),涵蓋了數(shù)據(jù)生命周期的各個(gè)階段,包括數(shù)據(jù)生成、存儲(chǔ)、交換、處理與分析、驗(yàn)證與安全,以及隱私與所有權(quán)。
數(shù)據(jù)存儲(chǔ):Filecoin和Arweave的快速發(fā)展證明了Decentralization存儲(chǔ)(DCS)正在成為存儲(chǔ)領(lǐng)域的范式轉(zhuǎn)變。DCS方案通過(guò)分布式架構(gòu)減少了單點(diǎn)故障風(fēng)險(xiǎn),同時(shí)以更具競(jìng)爭(zhēng)力的成本效益吸引參與者。隨著一系列規(guī)模化應(yīng)用案例的涌現(xiàn),DCS的存儲(chǔ)容量呈現(xiàn)爆發(fā)式增長(zhǎng)(例如Filecoin網(wǎng)絡(luò)的總存儲(chǔ)容量在2024年已達(dá)到22exabytes)。
處理和分析:Fluence等Decentralization數(shù)據(jù)運(yùn)算平臺(tái)通過(guò)邊緣計(jì)算(EdgeComputing)技術(shù)提高了數(shù)據(jù)處理的實(shí)時(shí)性和效率,特別適用于物聯(lián)網(wǎng)(IoT)和AI推理等對(duì)實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景。Web3項(xiàng)目利用聯(lián)邦學(xué)習(xí)、差分隱私、可信執(zhí)行環(huán)境、全同態(tài)加密等技術(shù)在計(jì)算層上提供靈活的隱私保護(hù)和權(quán)衡。
數(shù)據(jù)市場(chǎng)/交換平臺(tái):為了促進(jìn)數(shù)據(jù)的價(jià)值量化和流通,OceanProtocol通過(guò)Tokens化和DEX機(jī)制,創(chuàng)建了高效且開(kāi)放的數(shù)據(jù)交換渠道,例如幫助傳統(tǒng)制造公司(奔馳母公司Daimler)合作開(kāi)發(fā)數(shù)據(jù)交換市場(chǎng),以幫助其供應(yīng)鏈管理中的數(shù)據(jù)分享。另一方面,Streamr則創(chuàng)造了適用于IoT和實(shí)時(shí)分析場(chǎng)景的無(wú)許可、訂閱式數(shù)據(jù)流網(wǎng)絡(luò),在交通、物流項(xiàng)目中顯示了出色的潛力(例如與芬蘭智能城市項(xiàng)目合作)。
隨著數(shù)據(jù)交換和利用的日益頻繁,數(shù)據(jù)的真實(shí)性、可信度和隱私保護(hù)成為了不可忽視的關(guān)鍵問(wèn)題。這促使Web3生態(tài)系統(tǒng)將創(chuàng)新延伸到了數(shù)據(jù)驗(yàn)證和隱私保護(hù)領(lǐng)域,催生了一系列突破性的解決方案。3.1數(shù)據(jù)驗(yàn)證與隱私保護(hù)的革新
許多web3技術(shù)及原生項(xiàng)目正致力于解決數(shù)據(jù)真實(shí)性和私有數(shù)據(jù)保護(hù)問(wèn)題。除了ZK,MPC等技術(shù)發(fā)展被廣泛應(yīng)用,其中傳輸層安全協(xié)議公證(TLSNotary)作為一種新興的驗(yàn)證方法尤其值得關(guān)注。
TLSNotary簡(jiǎn)介
傳輸層安全協(xié)議(TLS)是一種廣泛用于網(wǎng)絡(luò)通信的加密協(xié)議,旨在確保客戶(hù)端和服務(wù)器之間的數(shù)據(jù)傳輸?shù)陌踩、完整性和保密性。它是現(xiàn)代網(wǎng)絡(luò)通信中常見(jiàn)的加密標(biāo)準(zhǔn),被用于HTTPS、電子郵件、即時(shí)通訊等多個(gè)場(chǎng)景。
(ProjectsworkingonTLSOracles,Source:BastianWetzel)
Web3數(shù)據(jù)驗(yàn)證作為數(shù)據(jù)生態(tài)鏈條上的一個(gè)重要環(huán)節(jié),應(yīng)用前景十分廣闊,其生態(tài)的興榮正引導(dǎo)著一個(gè)更開(kāi)放、動(dòng)態(tài)和以用戶(hù)為中心的數(shù)字經(jīng)濟(jì)。然而,真實(shí)性驗(yàn)證技術(shù)的發(fā)展僅僅是構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施的開(kāi)始。4.Decentralization數(shù)據(jù)網(wǎng)絡(luò)
一些項(xiàng)目則結(jié)合上述的數(shù)據(jù)驗(yàn)證技術(shù),在數(shù)據(jù)生態(tài)的上游,即數(shù)據(jù)溯源、數(shù)據(jù)的分布式采集和可信傳輸上做出更深入的探索。下面重點(diǎn)討論幾個(gè)代表性項(xiàng)目:OpenLayer,Grass和Vana,它們?cè)跇?gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施方面展現(xiàn)出獨(dú)特的潛力。4.1OpenLayer
OpenLayer是a16zCrypto2024春季加密創(chuàng)業(yè)加速器項(xiàng)目之一,作為首個(gè)模塊化的真實(shí)數(shù)據(jù)層,致力于提供一個(gè)創(chuàng)新的模塊化解決方案,用于協(xié)調(diào)數(shù)據(jù)的收集、驗(yàn)證和轉(zhuǎn)換,以同時(shí)滿(mǎn)足Web2和Web3公司的需求。OpenLayer已吸引了包括GeometryVentures、LongHashVentures在內(nèi)的知名基金和天使投資者的支持。
傳統(tǒng)數(shù)據(jù)層存在多重挑戰(zhàn):缺乏可信驗(yàn)證機(jī)制,依賴(lài)中心化架構(gòu)導(dǎo)致訪(fǎng)問(wèn)性受限,不同系統(tǒng)間的數(shù)據(jù)缺乏互操作性和流動(dòng)性,同時(shí)也沒(méi)有公平的數(shù)據(jù)價(jià)值分配機(jī)制。
一個(gè)更加具象化的問(wèn)題是,當(dāng)今AI訓(xùn)練數(shù)據(jù)正變得日益稀缺。在公共互聯(lián)網(wǎng)上,許多網(wǎng)站開(kāi)始通過(guò)反爬蟲(chóng)限制措施來(lái)防止AI公司大規(guī)模抓取數(shù)據(jù)。
而在私密專(zhuān)有數(shù)據(jù)方面,情況則更為復(fù)雜,許多有價(jià)值的數(shù)據(jù)由于其敏感性質(zhì)而以隱私保護(hù)的方式存儲(chǔ),缺乏有效的激勵(lì)機(jī)制。在這種現(xiàn)狀下,用戶(hù)無(wú)法安全地通過(guò)提供私人數(shù)據(jù)獲得直接收益,因此不愿意共享這些敏感數(shù)據(jù)。
為了解決這些問(wèn)題,OpenLayer結(jié)合數(shù)據(jù)驗(yàn)證技術(shù)搭建了一個(gè)模塊化真實(shí)數(shù)據(jù)層(ModularAuthenticDataLayer),并以Decentralization+經(jīng)濟(jì)激勵(lì)的方式來(lái)協(xié)調(diào)數(shù)據(jù)收集、驗(yàn)證和轉(zhuǎn)換過(guò)程,為Web2和Web3公司提供一個(gè)更安全、高效率、靈活的數(shù)據(jù)基礎(chǔ)設(shè)施。4.1.1OpenLayer模塊化設(shè)計(jì)的核心組件
OpenLayer提供了一個(gè)模塊化的平臺(tái)以簡(jiǎn)化數(shù)據(jù)的收集、可信驗(yàn)證和轉(zhuǎn)換過(guò)程流程:
a)OpenNodes
OpenNodes是OpenLayer生態(tài)系統(tǒng)中負(fù)責(zé)Decentralization數(shù)據(jù)收集的核心組件,通過(guò)用戶(hù)的移動(dòng)應(yīng)用、瀏覽器擴(kuò)展等渠道收集數(shù)據(jù),不同的運(yùn)營(yíng)商/Node可以根據(jù)其硬件規(guī)格執(zhí)行最適合的任務(wù)而優(yōu)化回報(bào)。
OpenNodes支持三種主要的數(shù)據(jù)類(lèi)型,以滿(mǎn)足不同類(lèi)型任務(wù)的需求:
公開(kāi)可用的互聯(lián)網(wǎng)數(shù)據(jù)(如金融數(shù)據(jù)、天氣數(shù)據(jù)、體育數(shù)據(jù)和社交媒體流)
用戶(hù)私人數(shù)據(jù)(如Netflix觀看歷史、Amazon訂單記錄等)
來(lái)自安全來(lái)源的自報(bào)告數(shù)據(jù)(如由專(zhuān)有所有者簽名或特定可信硬件驗(yàn)證的數(shù)據(jù))。
開(kāi)發(fā)者可以輕松添加新的數(shù)據(jù)類(lèi)型,指定新的數(shù)據(jù)源,需求和數(shù)據(jù)檢索方法,用戶(hù)可以選擇提供去識(shí)別化的數(shù)據(jù)以換取獎(jiǎng)勵(lì)。這種設(shè)計(jì)使得系統(tǒng)可以不斷擴(kuò)展以適應(yīng)新的數(shù)據(jù)需求,多樣化的數(shù)據(jù)源使得OpenLayer能夠?yàn)楦鞣N應(yīng)用場(chǎng)景提供全面的數(shù)據(jù)支持,也降低了數(shù)據(jù)提供的門(mén)檻。
b)OpenValidators
OpenValidators負(fù)責(zé)收集之后的數(shù)據(jù)驗(yàn)證,允許數(shù)據(jù)消費(fèi)者確認(rèn)用戶(hù)提供的數(shù)據(jù)與數(shù)據(jù)源的完全匹配。所有提供的驗(yàn)證方法可以進(jìn)行加密證明的,驗(yàn)證結(jié)果可以在事后被證實(shí)。同一類(lèi)型的證明,有多個(gè)不同的提供商提供服務(wù)。開(kāi)發(fā)者可以根據(jù)自己的需求選擇最適合的驗(yàn)證提供商。
在初始用例中,特別是針對(duì)來(lái)自互聯(lián)網(wǎng)API的公共或私有數(shù)據(jù),OpenLayer以TLSNotary作為驗(yàn)證解決方案,從任何Web應(yīng)用程序?qū)С鰯?shù)據(jù),并在不損害隱私的情況下證明數(shù)據(jù)的真實(shí)性。
不局限于TLSNotary,得益于其模塊化設(shè)計(jì),驗(yàn)證系統(tǒng)可以輕松接入其他驗(yàn)證方法,以適應(yīng)不同類(lèi)型的數(shù)據(jù)和驗(yàn)證需求包括但不限于:
AttestedTLSconnections:利用可信執(zhí)行環(huán)境(TEE)建立經(jīng)過(guò)認(rèn)證的TLS連接,確保數(shù)據(jù)在傳輸過(guò)程中的完整性和真實(shí)性。
SecureEnclaves:使用硬件級(jí)別的安全隔離環(huán)境(如IntelSGX)來(lái)處理和驗(yàn)證敏感數(shù)據(jù),提供更高級(jí)別的數(shù)據(jù)保護(hù)。
ZKProofGenerators:集成ZKP,允許在不泄露原始數(shù)據(jù)的情況下驗(yàn)證數(shù)據(jù)的屬性或計(jì)算結(jié)果。
c)OpenConnect
OpenConnect是OpenLayer生態(tài)系統(tǒng)中負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)換,實(shí)現(xiàn)可用性的核心模塊,處理來(lái)自各種來(lái)源的數(shù)據(jù),確保數(shù)據(jù)在不同系統(tǒng)間的互操作性,以滿(mǎn)足不同應(yīng)用的需求。例如:
將數(shù)據(jù)轉(zhuǎn)換為鏈上預(yù)言機(jī)(Oracle)格式,便于智能合約直接使用。
將非結(jié)構(gòu)化原始數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),為AI訓(xùn)練等目的進(jìn)行預(yù)處理。
對(duì)于來(lái)自用戶(hù)私人賬戶(hù)的數(shù)據(jù),OpenConnect提供了數(shù)據(jù)脫敏功能以保護(hù)隱私,也提供了組件來(lái)增強(qiáng)數(shù)據(jù)共享過(guò)程中的安全性,減少數(shù)據(jù)泄露和濫用。為了滿(mǎn)足AI和Blockchain等應(yīng)用對(duì)實(shí)時(shí)數(shù)據(jù)的需求,OpenConnect支持高效的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換。
當(dāng)下,通過(guò)和Eigenlayer的集成,OpenLayerAVS運(yùn)營(yíng)商監(jiān)聽(tīng)數(shù)據(jù)請(qǐng)求任務(wù),負(fù)責(zé)抓取數(shù)據(jù)并進(jìn)行驗(yàn)證,然后將結(jié)果報(bào)告回系統(tǒng),通過(guò)EigenLayer質(zhì)押或重質(zhì)押資產(chǎn),為其行為提供經(jīng)濟(jì)擔(dān)保。如惡意行為被證實(shí),將面臨質(zhì)押資產(chǎn)被罰沒(méi)的風(fēng)險(xiǎn)。作為EigenLayer主網(wǎng)上最早的的AVS(主動(dòng)驗(yàn)證服務(wù))之一,OpenLayer已經(jīng)吸引了超過(guò)50個(gè)運(yùn)營(yíng)商和40億美元的再質(zhì)押資產(chǎn)。
總的來(lái)說(shuō),OpenLayer所構(gòu)建的Decentralization數(shù)據(jù)層在不犧牲實(shí)用性和效率的前提下,擴(kuò)展了可用數(shù)據(jù)的范圍和多樣性,同時(shí)通過(guò)加密技術(shù)和經(jīng)濟(jì)激勵(lì),確保了數(shù)據(jù)的真實(shí)性和完整性。其技術(shù)對(duì)于尋求獲取鏈下信息的Web3Dapp、需要用真實(shí)輸入來(lái)訓(xùn)練和推斷的AI模型,以及希望根據(jù)現(xiàn)有身份和聲譽(yù)來(lái)細(xì)分和定位用戶(hù)的公司都有廣泛的實(shí)際用例。用戶(hù)也得以?xún)r(jià)值化他們的私有數(shù)據(jù)。4.2Grass
Grass是由WyndNetwork開(kāi)發(fā)的旗艦項(xiàng)目,旨在創(chuàng)建一個(gè)Decentralization的網(wǎng)絡(luò)爬蟲(chóng)和AI訓(xùn)練數(shù)據(jù)平臺(tái)。在2023年末,Grass項(xiàng)目完成了由PolychainCapital和TribeCapital領(lǐng)投的350萬(wàn)美元種子輪融資。緊接著,在2024年9月,項(xiàng)目又迎來(lái)了由HackVC領(lǐng)投的A輪融資,Polychain、Delphi、Lattice和BrevanHoward等知名投資機(jī)構(gòu)也參與其中。
我們提到AI訓(xùn)練需要新的數(shù)據(jù)敞口,而其中一個(gè)解決方案是使用多IP來(lái)突破數(shù)據(jù)訪(fǎng)問(wèn)的權(quán)限,為AI進(jìn)行數(shù)據(jù)喂養(yǎng)。Grass由此出發(fā),創(chuàng)造了一個(gè)分布式爬蟲(chóng)Node網(wǎng)絡(luò),專(zhuān)門(mén)致力于以Decentralization物理基礎(chǔ)設(shè)施的方式,利用用戶(hù)的閑置帶寬為AI訓(xùn)練收集并提供可驗(yàn)證數(shù)據(jù)集。Node通過(guò)用戶(hù)的互聯(lián)網(wǎng)連接路由web請(qǐng)求,訪(fǎng)問(wèn)公開(kāi)網(wǎng)站并編譯結(jié)構(gòu)化數(shù)據(jù)集。它使用邊緣計(jì)算技術(shù)進(jìn)行初步數(shù)據(jù)清理和格式化,提高數(shù)據(jù)質(zhì)量。
Grass采用了SolanaLayer2DataRollup架構(gòu),建立在Solana之上以提高處理效率。Grass使用驗(yàn)證器接收、驗(yàn)證和批處理來(lái)自Node的web交易,生成ZK證明以確保數(shù)據(jù)真實(shí)性。驗(yàn)證后的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)賬本(L2)中,并鏈接到相應(yīng)的L1鏈上證明。4.2.1Grass主要組件
a) GrassNode
與OpenNodes類(lèi)似,C端用戶(hù)安裝Grass應(yīng)用或?yàn)g覽器擴(kuò)展并運(yùn)行,利用閑置帶寬進(jìn)行網(wǎng)絡(luò)爬蟲(chóng)操作,Node通過(guò)用戶(hù)的互聯(lián)網(wǎng)連接路由web請(qǐng)求,訪(fǎng)問(wèn)公開(kāi)網(wǎng)站并編譯結(jié)構(gòu)化數(shù)據(jù)集,使用邊緣計(jì)算技術(shù)進(jìn)行初步數(shù)據(jù)清理和格式化。用戶(hù)根據(jù)貢獻(xiàn)的帶寬和數(shù)據(jù)量獲得GRASSTokens獎(jiǎng)勵(lì)。
b)路由器(Routers)
連接GrassNode和驗(yàn)證器,管理Node網(wǎng)絡(luò)并中繼帶寬。Routers被激勵(lì)運(yùn)營(yíng)并獲得獎(jiǎng)勵(lì),獎(jiǎng)勵(lì)比例與通過(guò)其中繼的總驗(yàn)證帶寬成正比。
c)驗(yàn)證器(Validators)
接收、驗(yàn)證和批處理來(lái)自路由器的web交易,生成ZK證明,使用獨(dú)特的密鑰集來(lái)建立TLS連接,為與目標(biāo)web服務(wù)器的通信選擇適當(dāng)?shù)拿艽a套件。Grass目前采用中心化驗(yàn)證器,未來(lái)計(jì)劃轉(zhuǎn)向驗(yàn)證器委員會(huì)。
d)ZK處理器(ZKProcessor)
接收來(lái)自驗(yàn)證者的生成每個(gè)Node會(huì)話(huà)數(shù)據(jù)的證明,批處理所有web請(qǐng)求的有效性證明并提交到Layer1(Solana)。
e)Grass數(shù)據(jù)賬本(GrassL2)
存儲(chǔ)完整的數(shù)據(jù)集,并鏈接到相應(yīng)的L1鏈(Solana)上證明。
f)邊緣嵌入模型
負(fù)責(zé)將非結(jié)構(gòu)化web數(shù)據(jù)轉(zhuǎn)換為可用與AI訓(xùn)練的結(jié)構(gòu)化模型。
(Source:IOSG,David)
4.3VAVA
作為一個(gè)以用戶(hù)為中心的數(shù)據(jù)池網(wǎng)絡(luò),Vana同樣致力于為AI和相關(guān)應(yīng)用提供高質(zhì)量數(shù)據(jù)。相比OpenLayer和Grass,Vana采用了更不同的技術(shù)路徑和商業(yè)模式。Vana在2024年9月完成500萬(wàn)美元融資,由CoinbaseVentures領(lǐng)投,此前獲得Paradigm領(lǐng)投的1800萬(wàn)美元A輪融資,其他知名投資者包括Polychain,CaseyCaruso等。
最初于2018年作為MIT的一個(gè)研究項(xiàng)目啟動(dòng),Vana旨在成為一個(gè)專(zhuān)門(mén)為用戶(hù)私有數(shù)據(jù)設(shè)計(jì)的Layer1Blockchain。其在數(shù)據(jù)所有權(quán)和價(jià)值分配上做出的創(chuàng)新使用戶(hù)能夠從基于其數(shù)據(jù)訓(xùn)練的AI模型中獲利。Vana的核心在于通過(guò)無(wú)需信任、私密且可歸因的數(shù)據(jù)流動(dòng)性池(DataLiquidityPool)和創(chuàng)新的ProofofContribution機(jī)制來(lái)實(shí)現(xiàn)私人數(shù)據(jù)的流通和價(jià)值化:
4.3.1.數(shù)據(jù)流動(dòng)性池(DataLiquidityPool)
Vana引入了一個(gè)獨(dú)特的數(shù)據(jù)流動(dòng)性池(DLP)概念:作為Vana網(wǎng)絡(luò)的核心組件,每個(gè)DLP都是一個(gè)獨(dú)立的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò),用于聚合特定類(lèi)型的數(shù)據(jù)資產(chǎn)。用戶(hù)可以將他們的私人數(shù)據(jù)(如購(gòu)物記錄、瀏覽習(xí)慣、社交媒體活動(dòng)等)上傳至特定DLP,并靈活選擇是否將這些數(shù)據(jù)授權(quán)給特定的第三方使用。數(shù)據(jù)通過(guò)這些流動(dòng)性池被整合和管理,這些數(shù)據(jù)經(jīng)過(guò)去識(shí)別化處理,確保用戶(hù)隱私的同時(shí)允許數(shù)據(jù)參與商業(yè)應(yīng)用,例如用于AI模型訓(xùn)練或市場(chǎng)研究。
用戶(hù)向DLP提交數(shù)據(jù)并獲得相應(yīng)的DLPTokens(每一個(gè)DLP都有特定的Tokens)獎(jiǎng)勵(lì),這些Tokens不僅代表用戶(hù)對(duì)數(shù)據(jù)池的貢獻(xiàn),還賦予用戶(hù)對(duì)DLP的治理權(quán)和未來(lái)利潤(rùn)分配權(quán)。用戶(hù)不僅可以分享數(shù)據(jù),還可以從數(shù)據(jù)的后續(xù)調(diào)用中獲取持續(xù)的收益(并提供可視化追蹤)。與傳統(tǒng)的單次數(shù)據(jù)售賣(mài)不同,Vana允許數(shù)據(jù)持續(xù)參與經(jīng)濟(jì)循環(huán)。
4.3.2.ProofofContribution機(jī)制
Vana的另一核心創(chuàng)新之一是ProofofContribution(貢獻(xiàn)證明)機(jī)制。這是Vana確保數(shù)據(jù)質(zhì)量的關(guān)鍵機(jī)制,讓每個(gè)DLP可以根據(jù)其特性定制獨(dú)特的貢獻(xiàn)證明函數(shù),以驗(yàn)證數(shù)據(jù)的真實(shí)性和完整性,并評(píng)估數(shù)據(jù)對(duì)AI模型性能提升的貢獻(xiàn)。這一機(jī)制確保用戶(hù)的數(shù)據(jù)貢獻(xiàn)得到量化和記錄,從而為用戶(hù)提供獎(jiǎng)勵(lì)。與Crypto中的“工作量證明”(ProofofWork)類(lèi)似,ProofofContribution根據(jù)用戶(hù)貢獻(xiàn)的數(shù)據(jù)質(zhì)量、數(shù)量以及被使用的頻次來(lái)為用戶(hù)分配收益。通過(guò)智能合約自動(dòng)執(zhí)行,確保貢獻(xiàn)者獲得與其貢獻(xiàn)匹配的獎(jiǎng)勵(lì)。Vana的技術(shù)架構(gòu)
數(shù)據(jù)流動(dòng)性層(DataLiquidityLayer)
這是Vana的核心層,負(fù)責(zé)數(shù)據(jù)的貢獻(xiàn)、驗(yàn)證和記錄到DLPs,將數(shù)據(jù)作為可轉(zhuǎn)移的數(shù)字資產(chǎn)引入鏈上。DLP創(chuàng)建者部署DLP智能合約,設(shè)定數(shù)據(jù)貢獻(xiàn)目的、驗(yàn)證方法和貢獻(xiàn)參數(shù)。數(shù)據(jù)貢獻(xiàn)者和托管者提交數(shù)據(jù)進(jìn)行驗(yàn)證,貢獻(xiàn)證明(PoC)模塊會(huì)執(zhí)行數(shù)據(jù)驗(yàn)證和價(jià)值評(píng)估,根據(jù)參數(shù)給予治理權(quán)和獎(jiǎng)勵(lì)。
數(shù)據(jù)可移植層(DataPortabilityLayer)
這是數(shù)據(jù)貢獻(xiàn)者和開(kāi)發(fā)者的開(kāi)放數(shù)據(jù)平臺(tái),也是Vana的應(yīng)用層。DataPortabilityLayer為數(shù)據(jù)貢獻(xiàn)者和開(kāi)發(fā)者提供一個(gè)協(xié)作空間,以使用DLPs中積累的數(shù)據(jù)流動(dòng)性構(gòu)建應(yīng)用。為User-Owned模型分布式訓(xùn)練,AIDapp開(kāi)發(fā)提供基礎(chǔ)設(shè)施。
通用連接組(Connectome)
一個(gè)Decentralization賬本,也是一個(gè)貫穿整個(gè)Vana生態(tài)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)流圖,使用權(quán)益證明共識(shí)(ProofofStake)記錄Vana生態(tài)系統(tǒng)中的實(shí)時(shí)數(shù)據(jù)交易。確保DLPTokens的有效轉(zhuǎn)移并為應(yīng)用提供跨DLP數(shù)據(jù)訪(fǎng)問(wèn)。與EVM兼容,允許與其他網(wǎng)絡(luò)、協(xié)議和DeFi應(yīng)用程序互操作。
(Source:Vana)
Vana提供了一條較為不同的路徑,專(zhuān)注于用戶(hù)數(shù)據(jù)的流動(dòng)性和價(jià)值賦能,這種Decentralization的數(shù)據(jù)交換模式不僅適用于AI訓(xùn)練、數(shù)據(jù)市場(chǎng)等場(chǎng)景,也為Web3生態(tài)系統(tǒng)中用戶(hù)數(shù)據(jù)的跨平臺(tái)互通與授權(quán)提供了一個(gè)新的解決方案,最終創(chuàng)建一個(gè)開(kāi)放的互聯(lián)網(wǎng)生態(tài)系統(tǒng),讓用戶(hù)擁有并管理自己的數(shù)據(jù),以及由這些數(shù)據(jù)創(chuàng)造的智能產(chǎn)品。
5. Decentralization數(shù)據(jù)網(wǎng)絡(luò)的價(jià)值主張
數(shù)據(jù)科學(xué)家克萊夫·哈姆比(CliveHumby)在2006年說(shuō)過(guò)數(shù)據(jù)是新時(shí)代的石油。近20年間,我們見(jiàn)證了"提煉"技術(shù)的飛速發(fā)展。大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等技術(shù)使得數(shù)據(jù)價(jià)值得到了空前釋放。根據(jù)IDC的預(yù)測(cè),到2025年,全球數(shù)據(jù)圈將增長(zhǎng)到163ZB,其中大部分將來(lái)自個(gè)人用戶(hù),隨著IoT、可穿戴設(shè)備、AI與個(gè)性化服務(wù)等新興科技的普及,未來(lái)大量需要商用的數(shù)據(jù)將也將來(lái)源于個(gè)人。傳統(tǒng)方案的痛點(diǎn):Web3的解鎖創(chuàng)新
Web3數(shù)據(jù)解決方案通過(guò)分布式Node網(wǎng)絡(luò),突破了傳統(tǒng)設(shè)施的局限,實(shí)現(xiàn)了更廣泛、更高效的數(shù)據(jù)采集,同時(shí)提升了特定數(shù)據(jù)的實(shí)時(shí)獲取效率和驗(yàn)證可信度。在此過(guò)程中,Web3技術(shù)確保了數(shù)據(jù)的真實(shí)性和完整性,并能有效保護(hù)用戶(hù)隱私,從而實(shí)現(xiàn)更公平的數(shù)據(jù)利用模式。這種Decentralization的數(shù)據(jù)架構(gòu),推動(dòng)了數(shù)據(jù)獲取的民主化。
不管是OpenLayer和Grass的用戶(hù)Node模式,還是Vana通過(guò)用戶(hù)私有數(shù)據(jù)的貨幣化,除了提高特定數(shù)據(jù)采集的效率,也讓普通用戶(hù)共享數(shù)據(jù)經(jīng)濟(jì)的紅利,創(chuàng)造一種用戶(hù)與開(kāi)發(fā)者雙贏的模式,讓用戶(hù)真正掌控和獲益于他們的數(shù)據(jù)和相關(guān)資源。
通過(guò)Tokens經(jīng)濟(jì),Web3數(shù)據(jù)方案重新設(shè)計(jì)了激勵(lì)模型,創(chuàng)造了一個(gè)更加公平的數(shù)據(jù)價(jià)值分配機(jī)制。吸引了大量用戶(hù)、硬件資源與資本的注入,從而協(xié)調(diào)并優(yōu)化了整個(gè)數(shù)據(jù)網(wǎng)絡(luò)的運(yùn)行。
比起傳統(tǒng)數(shù)據(jù)解決方案,它們也擁有模塊化與可擴(kuò)展性:比如Openlayer的模塊化設(shè)計(jì),為未來(lái)的技術(shù)迭代和生態(tài)擴(kuò)展提供了靈活性。得益于技術(shù)特性,優(yōu)化AI模型訓(xùn)練的數(shù)據(jù)獲取方式,提供更豐富、更多樣化的數(shù)據(jù)集。
從數(shù)據(jù)生成、存儲(chǔ)、驗(yàn)證到交換與分析,Web3驅(qū)動(dòng)的解決方案通過(guò)獨(dú)有技術(shù)優(yōu)勢(shì)解決者傳統(tǒng)設(shè)施的諸多弊端,同時(shí)也賦予用戶(hù)對(duì)個(gè)人數(shù)據(jù)的變現(xiàn)能力,引發(fā)數(shù)據(jù)經(jīng)濟(jì)模式的根本轉(zhuǎn)變。隨著技術(shù)進(jìn)一步發(fā)展演進(jìn)和應(yīng)用場(chǎng)景的擴(kuò)大,Decentralization數(shù)據(jù)層有望和其他Web3數(shù)據(jù)解決方案一起,成為下一代關(guān)鍵基礎(chǔ)設(shè)施,為廣泛的數(shù)據(jù)驅(qū)動(dòng)型產(chǎn)業(yè)提供支持。
免責(zé)聲明:IOSG | Decentralization數(shù)據(jù)層:AI時(shí)代的新基礎(chǔ)設(shè)施文章轉(zhuǎn)發(fā)自互聯(lián)網(wǎng),版權(quán)歸其所有。
文章內(nèi)容不代表本站立場(chǎng)和任何投資暗示。加密貨幣市場(chǎng)極其波動(dòng),風(fēng)險(xiǎn)很高,可能不適合所有投資者。在投資加密貨幣之前,請(qǐng)確保自己充分了解市場(chǎng)和投資的風(fēng)險(xiǎn),并考慮自己的財(cái)務(wù)狀況和風(fēng)險(xiǎn)承受能力。此外,請(qǐng)遵循您所在國(guó)家的法律法規(guī),以及遵守交易所和錢(qián)包提供商的規(guī)定。對(duì)于任何因使用加密貨幣所造成的投資損失或其他損失,本站不承擔(dān)任何責(zé)任。
Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM