ART:区块链数据如何归档?冷热分离方案了解一下_UniArts

——Part1?现状——

区块链可以视作一个在分布式环境下众多可信节点共同维护的且不可篡改的账本。在区块链系统中,数据以区块作为基本单位,区块链系统利用levelDB基于Key-Value结构的数据库存取数据,通过多节点冗余存储实现账本可信,然而随着区块链运行时间的增长,区块链的存储容量将呈线性增长,且这种数据的增长速度甚至会超过存储介质容量增长的速度,因此,区块链数据存储将成为限制区块链技术发展的重要因素。

面对这一棘手的问题,数据归档技术应运而生,什么是数据归档呢?

——Part2?什么是数据归档——

数据备份的概念大家应该是比较了解的,随着数字化的推进,企业对数据的敏感度逐渐增强,数据备份系统已经成为各大中型企业的必备系统。然而正如我们对数据归档认知的不足,企业对于数据归档的使用也不如数据备份广泛。

备份的目的是为了恢复,保证在系统出现意外情况时业务的连续进展。对于企业来说,每天产生的大量数据,其实绝大部分的使用率很低,但是,出于一些特殊原因,这些数据却必须保留以备查询。简言之,归档的目的是为了服务品质和保证数据的可管理,使得运行、维护、投入整体的成本降低,如何最大化使用存储,保证数据的访问。数据归档,即数据的使用。然而如何规范的归档数据呢?我们就得具备相应的归档原则。

腾讯课堂推出“区块链存证”服务:金色财经报道,腾讯课堂正式上线“考证频道”。该频道以就业为导向,汇总百种各行业权威认证证书,并打造“证书热榜”榜单。

据介绍,用户打开腾讯课堂,可查询到各类证书详细信息,并通过榜单快速选择适合个人的证书以及相关培训课程,解锁考证“正确姿势”,助力认证考试市场规范化发展。此外,腾讯课堂将推出“区块链存证”服务,进一步提高证书的权威性和公信力,助力学习者求职就业。[2022/9/24 7:17:34]

数据存储:无论是备份还是归档,数据的完整性必须得到保证,且需在规定时间内保证数据的安全存储。保证数据的完整性、时效性及存储的安全性。

数据易读取:虽然大部分数据重复读取可能性低,但归档系统依旧不是一个备份系统,必须保证在需要的时候能方便地读取数据。保证系统数据的可读性。

数据可扩展:由于存在不同种类的数据,且数据也是实时变化且增长迅猛,因此为满足企业需求,还应具备可扩展的要求。

深圳市龙华区将以区块链等为支撑建设数字经济先行区:近日,“深圳市龙华区区块链孵化器”、“深圳市龙华区数字经济产业协会”揭牌成立。龙华区与深圳腾讯数字经济、道一信息技术、趣链科技、德方智链等12家区块链孵化器企业进行签约。接下来,龙华将抢抓“双区建设”和“数字经济”重大历史发展机遇,坚持以数字产业化、产业数字化、治理数字化、数字价值化为主线,以人工智能、区块链等技术为支撑,大力培育数字经济产业新技术、新业态、新模式,积极拓展应用市场,完善产业生态,着力提升数字经济发展能级,全面建设数字经济先行区。(深圳新闻网)[2021/4/12 20:09:00]

数据合法:任何的企业系统运作都应该遵守各项规章制度,要遵守政府和行业指定的各项法律、法规及各种规章。

——Part3实现难点——

正如大家所知,区块链存在数据单向增长的特性,这样数据量的增多会导致系统磁盘空间占用率高,所以需要研发区块链专用数据归档技术,将数据进行“冷热分离”,保障系统的高效可靠运转;

动态 | 内华达州州长已签署法案SB 161 系本月签署的第四项区块链相关法案:内华达州州长Steve Sisolak已于6月13日签署了由共和党参议员Ben Kieckhefer发起的参议院第161号法案(SB 161)。这也是内华达州本月通过的第四项区块链相关法案,该法案的部分描述为:要求工商部门建立并管理产品创新监管实验计划;规定程序运行的要求;在特定情况下,为项目参与者提供关于金融产品、服务相关法律及监管要求的暂时豁免。 据此前报道,同由Ben Kieckhefer发起的另外三项法案SB 162、SB 163、SB 164此前已在6月7日签署通过。[2019/6/16]

另外,因为区块链是一个在分布式环境下众多可信节点共同维护的且不可篡改的账本,所以传统的数据归档技术无法解决多个节点数据归档某一范围数据而账本状态保持一致性的问题,在实际情况中还存在区块链上单一节点数据归档导致的多节点数据同步时账本状态一致性的问题。

总结:

动态 | 西班牙巴伦西亚市宣布利用区块链建立\"智能港口\":10月3日星期三,西班牙最繁忙的港口之一在巴伦西亚市宣布建立一个\"智能港口\"它将使用区块链和大数据技术。Jose Garcia De La Guia负责瓦伦西亚港务局新技术的实施,他解释说,他们认为区块链不仅可以改善瓦伦西亚的物流,而且可以改善许多国际港口的物流状况。De La Guia还表示,区块链将有助于创建“ports without papers”,优化全球资源,减少维护时间,并削减成本。[2018/10/5]

1.区块链存在数据单向增长,需要进行冷热分离存储;

2.分布式环境下,难以保证所有节点实时进行数据归档且保证数据状态的一致性;

3.单一节点数据归档导致多节点数据同步时状态一致性难以保证。

——Part4?数据归档的架构解读——

了解了数据归档的基本概念,那么,在区块链中它是如何运作的呢?数据归档功能的主要职责是将一部分旧的线上数据移到线下转存。对此,趣链科技提出了区块链数据归档的方法,使得整个区块链系统能在不停机情况下,将区块链数据划分为链上、链下两部分,热数据仍保留在链上,但冷数据可以存储在低成本的硬件设备上,进行动态的数据归档。而且,通过数据调度层,可以很好地实现热数据和冷数据的灵活访问,热数据直接通过平台访问,冷数据则通过归档数据浏览技术浏览。另外,每个节点可以自主、多次地对数据进行归档,从而使得系统的链上数据量维持在一个稳定水平,有效释放磁盘空间。

Harvest希望推出北美首个区块链上市交易基金:上周,Harvest Portfolios向监管机构提交了初步招股说明书,希望成为首家在跟踪区块链技术领域推出ETF的公司。Blockchain Technologies ETF的管理费为0.65%,可以提供复制区块链技术指数的服务。由Harvest拥有和创建的区块链技术指数旨在跟踪大型区块链项目和新兴区块链领域发行人的表现。[2018/1/9]

为更形象地讲解数据归档技术,我们以趣链数据归档为讲解内容进行:

区块链的数据归档方式是一种基于状态备份的归档方法。

简单来说,用户想要对某一个区块链节点做数据归档,必须在过去某一时刻对区块链制作一个状态快照;

进行数据归档时,可以将快照点之前所有的区块链数据进行归档转储,以实现区块链节点存储压力的减负。后续未归档第一个区块的节点成为新链的1号区块。

▲?数据归档流程

制作快照:

1.系统获取最近距离的快照,即比当前要做快照的区块号小的最大的高度,返回该快照的信息。若没有任何快照,则以0号区块数据为基础新建快照并作为start,其制作的高度为end。

2.快照拷贝以单纯的磁盘io拷贝一份第一步获得的账本到新文件夹,并作为后续账本操作的基础。

3.根据日志数据,遍历线上,制作到账本,且同时遍历区块的merkleRoot,保证账本的正确性。

检查快照:

遍历snashot数据库中的状态数据,重新计算出bucketTree的根哈希,与最新的区块哈希对比,以保证制作的快照与实际的账本是否一致。

数据归档:

如图,用户发起数据归档请求,要求将快照点前所有的区块链数据进行转储归档。该节点将所需转储的区块数据以及相应的交易回执等数据转储,且将本地的创世状态内容更新为之前备份得到的快照状态。

如果说区块链正常的状态变迁是状态终点不停向前更新的过程,那么数据归档就是一个区块链状态起点向终点更新的过程。下面是一个比较典型的相关数据平台应用案例:

数百家中心数据,存量数据4T,日均10GB,年均3.6T数据上链,由于链上存储通常采用SSD硬盘,导致存储成本高昂。针对此问题,我们采用定期归档的方式对链上数据进行归档,由图可见,我们采用了分段存储的方式,平台可对任意的某段数据进行归档操作并保证各节点数据状态的一致性。保证链上数据稳定在1T左右,有效地释放磁盘空间的同时,极大地降低了成本,增加了系统性能。

上述的数据归档主要是针对区块链数据,而部署在区块链上的智能合约,同样有较大的存储需求用来记录庞大的业务数据。针对于这部分数据,趣链提供了另外一种归档机制,用户仅需发起一笔带有特殊标记的交易,调用智能合约中自定义的归档函数,即可实现合约数据的转储。合约编码者可以在合约中实现任意逻辑的归档函数,以满足不同的业务需求。

——?Part5总结?——

在本片中较为详细地讲解了数据归档技术在区块链中的使用,不仅实现了数据的冷热分离存储,保证了单一节点的数据归档而保持整个区块链所有节点的账本状态的一致性,而且实现了分段存储的模式,使得数据在任意范围内被归档。

从设计角度来看,数据归档后不影响原先链上数据的正确性与连续性,而且支持不同节点、不同分区自定义归档序列的范围。

从功能角度来看,数据归档主要解决区块链链上数据的冗余问题。减少链上数据存储压力,将过期数据和历史数据进行线下的存储,突破链上存储的限制。并且,并发执行数据归档过程中的各种操作,提升了归档的效率。

从应用场景来看,数据归档适用于数据冗余存储、链式递增、时效有限等情况导致的存储资源被大量过期数据占用的痛点。对于数据归档或者区块链技术有兴趣的小伙伴,添加小助加入技术交流群,欢迎您和我们共享观点,共论区块链的无限未来~

作者简介

陈少蔚

趣链科技基础平台部文档工程师

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

大币网

[0:0ms0-3:546ms