作者:Yuki犇睿资本董事总经理时间:2018年12月10号前言:
2017年,区块链技术如雨后春笋般伴着加密数字货币的飞涨一起闯入公众视野。人们在感叹加密货币令人吃惊的崛起同时,也意识到市场期待的,并不只是虚拟金融牛熊带来的狂热。回到支撑比特币信仰的原点——区块链技术,如何基于此类技术支撑互联网发展,延伸科技世界的极限,这些问题的解决是区块链不断走向成熟的一座座里程碑。创建分散式的万维网,被认为是可以支撑下一阶段的互联网的关键。但是当我们展望这个新颖的分散式互联网时,数据存储,是我们无法忽视的重要因素。人工智能、物联网,甚至区块链本身,都在挑战当前数据存储的边界。成千上万的连接设备,越来越多业务部门共享数据的需求,个性化的应用程序等都在增加对存储的需求。本文从简要介绍了全球云存储市场的发展情况,对比市面上著名的区块链+去中心化云存储技术项目,同时对区块链市场的发展展望,欢迎大家的指正与讨论。云存储的起源
云存储源于云计算的兴起,它以分布式数据体系和因特网络技术为基础,通过虚拟化、分布式技术、集群应用、网络技术、负载均衡等技术,将分散在不同地方中大量的存储设备通过软件集合起来,将存储设备与网络进行对接,共同对外提供数据存储和业务访问功能,客户通过公用访问接口、接入网和客户端程序等获取存储资源,保证数据的安全性,并节约存储空间。云存储应用响应自国家安全防卫发展的需要,此类技术的出现,为存储行业的发展带来了一次全新革新,为众多行业的升级起到支撑性的补充。与传统存储方式对比,云存储能够轻易突破存储区网络或网络接入存储的性能瓶颈,实现性能与容量的线性扩展。可以说,云存储的出现,为众多的信息化全面发展奠定了重要技术基础。云存储的竞争格局
在云计算产业链中,IaaS、PaaS和SaaS均涵盖存储功能。其中IaaS以块存储为主,PaaS云存储一般为对象存储,更加注重对存储能力的释放,SaaS云存储一般是文件存储。IaaS云存储一般来讲是SaaS云存储的底层基础。目前,IaaS与PaaS类云存储多由行业巨头领衔,部分创业型企业紧跟提供PaaS云存储;SaaS类云存储企业较多,暂无寡头性企业出现。
图1云存储的竞争格局云存储市场发展迅速,市场前景广阔随着通讯技术的迅猛发展与智能移动设备的大面积普及,全球数据量呈现爆发式增长,这迅速带动市场对数据存储的需求。2017年全球移动数据流量达到10.74EB,同比增长55.40%,其中智能手机和平板电脑的移动数据流量占全球移动数据流量将近90%。2017年,全球智能手机移动数据流量8.90EB,同比增长58.6%;全球平板电脑移动数据流量562.55PB,同比增长68.7%。据统计,2016年全球数据总量12ZB,预计到2020年将到达44ZB。不难发现,全球数据量即将迎来爆发式增长时期,云存储作为云计算的延伸,有望在而数据流量的爆发式增长的背景下急速发展。
图2全球数据总量预计2020年达到44ZB来源:IDC,广证恒生
图3全球平板电脑移动数据流量与智能手机移动数据流量迅猛增长来源:Wind,广证恒生
图42017年全球移动数据流量同比增长55.4%来源:Wind,广证恒生此外,云计算市场的增长也为云存储建设奠定了增长基调。2016年,全球云计算市场规模为654.8亿美元,预计2020年市场规模将达到1435.3亿美元。作为云计算的重要组成部分,可以预见云存储将在人工智能时代扮演及其重要的角色。除了急剧增长的市场需求,据Gartner的统计,全球整体外部存储在2017年下降4.3%,全球云存储市场规模同比上升26.3%。数据流量的增长,外部存储市场的缩减以及全球云存储市场规模不断上升,也说明了未来云存储将逐渐成为数据存储的心之所向。2017年全球云存储行业市场规模为307亿美元,预计2022年将增长到889.1亿美元,预测期内年复合增长率为23.7%。而我国云存储市场的发展速度更加迅猛,2017年我国云存储市场规模为88.68亿人民币,同比增长71.8%,根据移动信息化研究中心的预测,2018年同比增长率将上升至72.8%,市场规模为158.5亿元人民币。
图5近年来全球云存储市场规模不断上升单位:亿美元资料来源:智研资讯、广证恒生,MarketsandMarkets,移动信息总研究中心据估计,到2020年,全球将有超过200亿台连接设备,这些设备都需要合理与精确地生成、管理、存储与检索大量数据。但是,传统数据存取受限于存储介质,数据存取成为制约信息技术发展的主要瓶颈。面对数据存储的急剧膨胀,企业需要不断购置大量的存储设备来应对不断增长的存储需求。然而,这似乎并不能从根本解决问题。首先,存储设备的采购预算越来越高,大多数企业难以承受如此巨大的开支。其次,大量的异构物理存储资源大大增加了存储管理的复杂性,容易造成存储资源浪费和利用效率不高。相比于传统存储模式,云存储更易于扩容与管理,且价格低廉。
图6云存储可帮助企业节省早期的存储成本来源:广证恒生中心化云存储的优势易于扩容相比于传统的存储扩容,云存储架构采用的是并行扩容方式,即当客户需要增加容量时,按照需求采购新的存储服务器即可,扩容环节无任何限制。成本更低使用云存储能根据客户实际所需采购与租赁,能有效降低企业和个人实际购置设备的成本,无需额外增加硬件设备专门人员负责管理与维护,减少运营成本。服务更稳定云存储将数据和文件保存在不同的服务器,避免了单一硬件损坏带来的数据不可用。若硬件系统出现故障,服务器会自动调整指令至另一台服务器,保证服务的持续提供。中心化云存储的劣势
尽管传统的云存储方案具有便于管理、扩容、节约成本等优势,但其本身的运行机制在集中化数据存储中心发生重大数据泄露的全球背景下,对数据的商业依赖导致其海量的数据存储在易受攻击的集中式数据库中,依然构成了前所未有的潜在风险。云服务器安全维护无法保证
云存储技术在其投入实际运用的过程中不断迭代与发展,数据安全,这个计算机技术创立之初就被计算机专家反复思考的因素,在云存储系统的发展中越来越受到重视。一方面,节点崩溃或外部攻击可导致数据不完整;另一方面,当数据不完整时,由于云服务提供商故意隐瞒或其他因素,用户无法及时得知数据变更的通知。2018年8月,腾讯云被曝出“数据丢失”事件,该事件起源于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。同年6月,阿里云再次发布故障说明,直接导致1000多家公司业务瘫痪超过30分钟,造成过亿损失。尽管此类事件事后均被定义为“极小概率”的可避免事件,但数据的价值无法衡量,且重要性毋庸置疑。中心化的云存储究竟安不安全,服务提供商容灾能力如何,再次引起业内人士的深思。用户数据控制权低下,信息隐私易泄漏
随着人们对技术的依赖不断加深,越来越多的生活服务迁移到数字平台。用户的身份信息、信仰、消费习惯、文件等数据正逐渐传送至各类提供云存储功能的第三方数据库中。然而,控制数据的钥匙却不在用户的手中。存储服务商任意查看与改动用户上传的内容,事故频发的数据滥用丑闻,一系列的负面消息不免令人怀疑这些存储服务巨头是否真正能为存储国民信息的数据库提供安全保障。2017年6月,使用亚马逊云服务器的美国数据公司DeepRootAnalytics泄露了超过1.98亿美国公民的数据,包含大约61%的美国人口的个人信息,造成历史上最大的选民信息曝光案件。不仅如此,具有特殊目的利益相关群体,也会从数据中获得非常可观的利润,而这些暗箱交易却不为数据真正的提供者——民众所知。云存储服务巨头锁定策略明显,云互兼容极弱
伴随着云计算服务的成长,厂商锁定策略逐渐浮现在各个企业面前。构建一个成功的云数据存储业务非常复杂,往往需要服务商投入大量的精力在建立客户对其产品环境的依赖性上,并在各大洲建立一个或多个全球数据中心网络,满足全球用户的需求。这些巨大的行业壁垒导致了极少数的大公司拥有几乎所有的全球云数据存储市场,因而发生市场垄断的局面,这种情况与云互操作性与兼容性的准则相违背。近乎垄断的市场格局,也造成用户极高的切换云供应商成本。同时,数据的存储离终端用户非常遥远,数据迁移带来的问题令中心化云存储的效率受到一定影响。去中心化云存储的畅想
区块链技术的蓬勃兴起已经彻底改变了互联网发展路径,这种新颖的巧妙技术允许数据分布在整个分类账中,没有任何中央管理机构,但基本要求是参与者验证数据,这为数据变得更加开放与安全提供了无限可能。建立数据存储的“Airbnb”,似乎不再遥不可及。什么是去中心化云存储
基于区块链技术的去中心化存储将集合区块链技术的优势功能,满足存储大量数据的实际需求。去中心化云存储,顾名思义,是把数据切成小块加密后分散到多个网络节点,。提供去中心化云存储的服务商仅负责管理与维护分散的区块链网络,而非控制其存储数据。存储技术均为开源,没有公司可以完全控制区块链网络中的数据。智能合约进行自动化交易并负责下达存储数据的指令,数据一旦上链在区块链网络便无法删除与更改,如需对数据进修改,则需在区块链中构建未更改的数据历史记录。正因如此,与集中式网络相比,基于区块链的去中心化云存储数据安全性更高。所有数据均会被加密且被复制以保证冗余,每个用户有权控制自己的加密私钥,这极大程度地保证数据上传者对自身信息的可控度。此外,存储文件的节点仅负责一小块文件的内容,这也意味着通过攻击存储节点获取文件信息是毫无意义的。去中心化云存储的理念实现了允许普通人在点对点网络中通过租用他们硬盘空间的限制部分实现存储需求。为了盘活此类新兴云存储的使用场景,多数项目方从“供给-需求”两个层面激励使用:即存储挖矿方面,用户可将闲置的存储空间添加到分布式网络中,并允许存储空间提供者接收存储需求,并以Token作为激励机制。在存储服务方面,客户利用区块链网络来存储数据,这些数据会被发送到世界各地许多不同的矿工,雇佣矿工进行存储与分发数据。去中心化云存储项目的简介
对比集中式存储将数据存储在单节点,使用raid的方式对数据进行备份的做法,去中心化的数据存储则是将数据分布在多个节点之上,以此构建一个安全稳定的存储系统,应对大规模的数据读写需求,这也是未来云存储发展的趋势之一。目前,去中心化云存储领域吸引了众多极有竞争力的项目争抢市场份额,通信协议底层协议的IPFS、Swarm等与存储激励项目Storj、Filecoin、Sia、MaidSAFE、Arweave等均为这一领域的行业先驱。存储协议层项目分析
IPFS简述IPFS作为一种内容可寻址、版本化、点对点超媒体的分布式文件系统和传输协议,旨在用同一个文件系统来连接所有的计算设备。IPFS旨在解决现有HTTP分发协议缓慢、昂贵、脆弱等弊端,其技术目标极具颠覆性和巨大商业潜能。相比于HTTP的优势
Swarm简述Swarm是以太坊Web3栈的本土服务层,其主要目标是为以太坊公共记录,尤其是为Dapp代码与数据及区块数据提供分布式数字服务,如存储、消息传递、存储保险、支付处理等。从存储方式看,Swarm采用点对点的存储方式,以达到耐DDoS攻击、零停机、容错、耐屏蔽与自我维持的目的。在设计上,Swarm与以太坊Devp2p多层协议网络层、以太坊区块链域名方案可深度兼容,服务与支付,保障内容的可用性。主要功能
去中心化云存储激励层项目分析
去中心化云存储的优势与潜在风险
优势——分散式安全防护区块链云存储解决了用户数据整体性丢失的问题。首先获取用户的数据并将其分解为小块,分布在各个节点上,此过程也被成为分片。然后,通过区块链功能,如散列函数、公钥/私钥加密和事务分类账在小数据块外添加一层额外的安全防护,每个数据均会被存储在分散的位置。如果入侵者试图攻击,他们首先必须获得加密信息,且只能获得一部分信息而非整份文件。优势——隐私保护更周全数据上传者的信息得到隐藏,单个节点也不会不存储所有者的全部数据。矿工在打包存储数据的过程中只获得一部分信息,这让所有的敏感信息都能得到区块链技术的庇护。优势——传输速度更快分散存储设置在速度方面优于大多数集中式系统,当用户需要读取数据时,所有的节点会同时发送自己保存的那一部分数据,在接收后进行自动拼接,避免了下载速度受制于服务器带宽而主要取决于自有的下载带宽,用户可快速无缝地访问信息的期待终将得以实现。优势——存储成本更低区块链存储成本可以将云计算的价格降低50%-100%,明显低于中心化的云存储服务器。同时,考虑到未来潜在用户的闲置存储空间,如果更多的用户能利用多余存储空间挖矿,那么存储成本会在未来进一步下降。任何具有中间商收取高费用的两边市场或平台,均能利用区块链技术降低到运行它的最低经济可行成本。潜在风险目前的去中心化云存储技术仍在早期探索阶段,各类去中心化存储的项目的技术发展与落地场景非常值得期待,但一系列的问题依然暴露出此项技术还需经历用户与时间的检验,比如:如何合理计算存储节点的支付问题,存储节点存储的数据量,存储节点的时间以及使用的带宽量如何标准化项目生态内的节点ID如何解决不同国家与地区分散存储的传输速度如何解决许多国家的人均国际带宽与国际连通性较弱的问题区块链技术还远未定型,在未来的时间还将持续演进。随着应用场景的日趋复杂,标准化工作亟待加速,缺乏统一的标准,不利于区块链技术创新发展和项目应用的落地。此外,考虑到个人与企业逐渐多样化的存储需求,区块链技术也应考虑到定制多样化,深度融合的存储方案。构思云上,落地为王,能否协同共识算法,分片技术、数据处理方式、生态组织形式等环节,形成跨链互联的协同操作,也是当前去中心化云存储技术的大规模落地的关键。如果Storj、Filecoin等公司能与行业巨头建立合作伙伴关系,让谷歌、苹果等公司开始使用他们的服务作为存储的后端平台,以降低成本并为他们的客户提供更可靠和一致的正常运行时间。在短短几年内,来自个人用户、传统企业和区块链公司都有可能从这种全行业的变革中受益。关于未来的展望分布式存储项目可以通过以更低的成本与信息保护而使个人和企业受益。存储技术作为区块链核心技术组建重要的一环,正在由单一键值数据库向融合IPFS、分布式数据库方向发展,从单一的共识机制从混合多类型的共识机制方向演进。存储技术在更新换代的过程中,也逐渐往融合的方向发展。目前,项目的落地应用多看Token的使用场景与流通生态,仍属于虚拟经济的范畴。如何从Token出发,带动此类创新技术向一般类信息共享应用推进,让更多的传统企业使用分布式存储技术降低成本、提高商业协作效率,促进实体经济增长,依然是区块链底层服务技术未来的发展方向。去中心化云存储技术从逻辑上看,不可篡改、数据加密、防DDoS攻击等特性让区块链技术近乎完美。但是,若从全局管理与实际应用来看,其技术的安全性与稳定性仍受到基础网络设施、操作管理等因素的制约。不管是零知识证明、多重签名还是环签名技术,让算法匹配商业场景,这是必须要经历的更新之路。最后,我们需要妥善使用双刃剑,在享受去中心化云存储技术带来的便利时,积极配合监管需求,在技术与内置方案的设计上主动迎合监管需求,合规发展,迎合机遇,靠技术解决监管体系与领先技术的不协调性。参考文献:1.StorjWhitePaperV32.IPFSWhitePaper3.Sia中文白皮书4.FilecoinWhitePaper5.广证恒生:云储存发展空间广阔,百亿企业蓝海市场有待掘金6.鲸准研究院:去中心化云存储行业研究报告
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。