原文作者:ShadyElDamaty
科学数据的语料库是分散的、受访问控制的,它们的迅速增长已经超出了中心化服务的维护能力。点对点技术的最新发展使得建立一个对所有人开放的永久科学记录档案成为可能。前期,DAOrayaki社区已经编译系列DeSci的文章,在本系列文章中,我们将深入探讨去中心化文件存储网络的前沿技术,并为协作式去中心化科学生态系统提供潜在的发展路径。
知识到底该为谁所拥有?
历史上,人类获取知识的边界,一直受到观察工具和高质量数据的限制。如今我们所拥有的,对自然界各领域产生飞跃式理解的能力/权力,之前只属于少数特权阶层。
托勒密用浑天仪和纸莎草纸来记录人类所理解的地球边界,这个边界在过去的一千年里没有受到任何挑战。伽利略使用凸透镜和羊皮纸,用一个像被锁定在宇宙中的神一样的球体,来解释宇宙的边界。哈勃利用胡克望远镜的力量,为所有的人类知识划定了一个无限扩大的地平线,在一个一切皆有可能的宇宙里,给后来的真理探求者留下了新的挑战。
分布式知识,解剖学板块。1857年JGHeck
哪怕直到最近,仍旧只有那些属于独家学者俱乐部的人,才能获得应对科学领域重大挑战所需的仪器和数据宝库。而今天,开放式协作和数据共享实践的做法,能够使天文学和物理学在未来取得更大进步的情况成为可能。这些问题太大,复杂的模型太多,工程挑战的难度太高,即使是最开明的人也无法单匹马解决。我们对宇宙范围所累积的理解力会更加扩大,而高质量的数据集,以及配合数据集所使用的工具,会对我们每个人、每个地方越来越开放。
富于数据,贫于智慧
虽然天文学界已经为合作性的开放科学实践制定了标准,但许多领域仍然根植于“基于声誉和自我职业发展”的传统做法。对许多人来说,我们很难知道如何才能超越这种对抗性根深蒂固的学术利益。然而,当今现代科学所面临的现实挑战,将迫使它不可避免地引发一场文化革命,这种范式的转变已经随着今天开放科学数据共享、期刊和自由软件的出现而发生。如今我们在自然世界的科学观察中所获得的数据量成爆炸式增长,这种增长已经超过了传统机构基础设施所能提供的,用于维护、存储和筛选不断扩大大量原始知识工具的最大承载能力。
关于人类健康、经济活动、社会动态和宇宙以及我们对它的影响的,数千PB的宝贵数据和观察结果被储存在过时的存储系统中。这些数据无法被搜索引擎访问,存储在只有少数人知道的神秘模式中,而且可能永远都不会被加以使用。据估计,20世纪90年代收集的原始科学数据中,有超过80%的数据由于过时的技术和不完善的档案基础设施而永远的消失。哪怕是今天,从一篇论文发表三年后开始算起,能找到一个数据集的可能性也是以17%的比例呈逐年下降趋势。故意限制科学数据访问的做法限制了我们社会的创新速度。
去中心化的文件存储协议通过内容可寻址的数据、可编程的数据存储激励机制、出处追踪、抗审查以及随着全球采用而扩展的带宽,为这种失败提供了解决方案。由这些功能驱动的点对点式的科学数据公域,可以提供一个有弹性的数字结构,让去中心化的社区会围绕当今最关键和最具挑战性的问题保持认知的统一。
点对点内容网络简史
对等文件共享与互联网一样古老。事实上,我们所知道的互联网的前身ARPANET在1969年首次启动时,严格来说就是一个点对点网络。网络退化的弹性、高双向带宽、信息冗余、资源聚合和内在的参与性,是使分布式对等网络成为早期互联网架构师和工程师首选设计的主要原因。这种直接信息共享的多次迭代出现在互联网的短暂历史中。
1973年公钥加密学的出现标志着身份协议的开始,并通过巧妙的密钥对签名系统对内容进行可验证。网络上的用户第一次可以信任由密钥加密的信息包,前提是它是由已知身份公开发布的密钥的唯一解密。后来,RalphMerkle在1979年发明了Merkle树,作为一种跟踪信息包来源的方法,为git和svn等版本控制软件铺平了道路。公钥密码技术与默克尔树数据结构的综合,推动了新的创新,例如区块链、分布式计算和共识机制的出现,这些机制增强了攻击的复原力,并最大限度地减少了分布式网络中信息碎片化问题。
分布式网络最著名的例子之一,Napster,通过集中式索引服务器连接对等点,该服务器后来在2001年Metallica因侵犯版权提起诉讼后被当局关闭。分布式哈希表(DHT)的引入彻底改变了点对点网络的设计,解锁了更高层次的去中心化方式,并使网络在内容审核跟审查上更具弹性。DHT最初用于帮助在对等网络上各节点位置的相互记忆,早期的互联网时代,这种方式会允许点对点网络以真正去中心化的方式扩展,因为它们不需要像Napster那样依赖中心化服务器。极受欢迎的点对点网络BitTorrent是最早使用DHT技术的网络之一。
IPFS)是一种点对点文件共享协议,它综合了分散式计算的关键进展和加密证明,为在互联网上永久记录存档提供了基础层。IPFS使信息真正属于网络公共资源成为可能,IPFS通过对内容的修订,对针对数据完整性攻击的矫正,以及对集中式服务提供商强加的带宽瓶颈的修正,促使它具有内在抵抗地理审查具的能力。
云存储的现状
21世纪初,集中式云服务提供商的出现,成为互联网上内容的把关者。今天,云存储市场被极少数玩家所主导。根据Canalysis的估计,亚马逊、微软和谷歌控制了一半以上的市场,而亚马逊一家就控制了三分之一的市场。亚马逊通过解决早期互联网的关键可扩展性问题,达到其近乎垄断的地位,但也正是如此,亚马逊也创造了一系列新的问题,所有这些问题都源于集中化。主要问题是资源分配效率低下,数据在孤立的存储库中分散,缺乏隐私和安全,以及不必要的高成本。总的来说,云服务提供商控制着他们所管理的所有存储数据,使他们成为获取知识的仲裁者。
期待一个更加开放性的网络
作为这股逆流的一部分,IPFS促使了许多为去中心化网络提供动力的其他技术创新的出现。在这一系列文章中,我们涵盖了主要的去中心化数据存储协议,并讨论了它们作为去中心化科学数据公共资源的底层结构的潜力。我们对IPFS背后的历史、机制和流行的应用进行了深入的探讨。
引用
AllenBrainInstitute.(2018,August9).NeuroscienceDataJoinstheCloud.RetrievedNovember21,2021,fromhttps://alleninstitute.org/what-we-do/brain-science/news-press/articles/neuroscience-data-joins-cloud
Amazon.(2018,July12th).NewAWSPublicDatasetsAvailablefromAllenInstituteforBrainScience,NOAA,HubbleSpaceTelescope,andOthers.RetrievedNovember12,2021,fromNewAWSPublicDatasetsAvailablefromAllenInstituteforBrainScience,NOAA,HubbleSpaceTelescope,andOthers
Canalysis.(2020,April29).GlobalcloudservicesmarketQ12021.RetrievedNovember27,2021,fromhttps://www.canalys.com/newsroom/global-cloud-market-Q121
Cocks,C.(2001,December).Anidentitybasedencryptionschemebasedonquadraticresidues.InIMAinternationalconferenceoncryptographyandcoding(pp.360–363).Springer,Berlin,Heidelberg.
JocelynGoldfeinandIvyNguyen.(2018,March27).Dataisnotthenewoil.Retrieved20November,2021fromDataisnotthenewoil—TechCrunch
Merkle,R.C.(1987,August).Adigitalsignaturebasedonaconventionalencryptionfunction.InConferenceonthetheoryandapplicationofcryptographictechniques(pp.369–378).Springer,Berlin,Heidelberg.
Paratii.(2017,October25).ABriefHistoryofP2PContentDistribution,in10MajorSteps.RetrievedNovember20,2021,fromABriefHistoryofP2PContentDistribution,in10MajorSteps|byParatii|Paratii|Medium
Nakamoto,S.(2008).Bitcoin:Apeer-to-peerelectroniccashsystem.DecentralizedBusinessReview,21260.
Vines,T.H.,et.al.(2014).Theavailabilityofresearchdatadeclinesrapidlywitharticleage.Currentbiology,24(1),94–97.
Wiener-Bronner,D.(2013,December23).MostScientificResearchDataFromthe1990sIsLostForever.RetrievedNovember,13,2021,fromMostScientificResearchDataFromthe1990sIsLostForever—TheAtlantic
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。