(编按:本文为QuarkChain创始人兼CEO周期博士撰写的技术文章,并以此文章问依据,在DApp Learning进行了技术分享讲座,中文讲座视频请点击文章第二篇推送?)
背景
DeFi、GameFi等去中心化应用的蓬勃发展,极大地增加了对低交易费用的高性能区块链的需求。然而,构建高性能区块链的一个关键挑战是存储爆炸。下图是取自 Etherscan 的图表,它说明了一个以太坊全节点(存档)的区块链数据大小。
从图中我们可以看出,节点的链数据规模稳步增长,现在已经达到~9TB。由于去中心化区块链的一个目标是允许普通配置的计算机运行节点,因此在普通配置的计算机上强制要求 9TB+ 存储会难以达到。
如果我们进一步分析存储使用情况,我们可以发现区块数据只占了约300GB的数据(从区块高度0到13.6M),这一数字远小于9TB。那么剩下的8.7TB数据从何而来呢?
实际上,存档节点执行所有块并保留所有历史数据,包括:
状态
交易收据
这其中,状态是这 8.7TB 的主要组成部分。所以有时,我们将存储爆炸称为“状态爆炸”。但是为什状态会如此之大?
什么是以太坊状态?
BlockFi CEO:加密贷款是消费者想要的服务,相信美国希望引领这个行业:9月14日消息,BlockFi首席执行官Zac Prince认为,不管有多少州政府指责,加密贷款行业将生存下来。据悉,BlockFi的计息加密账户已在美国至少五个州受到审查。他在天桥资本(SkyBridge Capital)的SALT会议上表示,“我们不会根据新泽西州、德克萨斯州或其他任何一个州的做法来决定加密贷款属于哪一类。这将取决于美国证券交易委员会(SEC)或货币监理署(OCC)等联邦监管机构,为这类活动的发生开辟一条道路。”
Prince表示,联邦政府的斗争可能会给美国贷款业带来更持久的裁决,“在国家层面上需要明确”。他坚持认为加密贷款是美国消费者想要的服务,并声称美国政府不会允许它落后。这些加密贷款从根本上对客户和加密市场都有好处。他相信美国希望引领这个行业,即使它来得很慢。新泽西州监管机构一再推迟“停止”令,该命令将禁止其全球范围内的新账户注册。(CoinDesk)[2021/9/14 23:23:21]
以太坊状态是一个Merkle Patrica树(MPT),其中
叶子节点是地址 (0x...) => 帐户的映射,其中帐户存储与地址关联的余额、nonce等
内部节点维护树结构,以便可以快速计算整个树的哈希根
泉州市丰泽区:打好“区块链+党建引领社区治理”样板:日前,泉州市丰泽区召开城市基层党建联席会议暨“区块链+党建引领社区治理”工作试点部署会。会上,丰泽区提出要继续做细做实做好做优社区治理创新有关工作,实现在党组织的引领下,把综治治安、物业管理、矛盾纠纷等各类问题第一时间解决在网格中,打通治理服务“最后一公里”,努力打好“区块链+党建引领社区治理”的丰泽样板。(东南网)[2020/8/13]
由于存档节点将保留所有区块的所有历史状态,这意味着 MPT 中的任何更新都将创建 O(log(N)) 个内部节点,并且不会删除旧的内部节点。
Geth 的全节点
为了解决存档节点状态爆炸的问题,Geth 的天才工程师们创建了一种称为“修剪”模式的新模式,该模式仅定期存储 MPT。这里我们举一个简化的例子,其中节点只保存每 3 个区块的MPT。(注意,为了获得一个不包含任何状态区块的状态,节点必须获得该区块之前最近的状态,并重放接下来的交易)。
通过定期存储 MPT,状态的存储大小显著减少。据 Etherscan 数据,目前 Geth 全节点的区块链数据大小约为 1TB。
声音 | 证券时报:证券市场积极部署区块链应用 区块链技术引领证券市场创新:证券时报今日刊文《区块链:辐射与嵌入 证券市场的变革基因》,文章表示,按照IDC数据显示,在去年全球区块链市场的份额构成中,金融业占60.5%,其中证券市场成为了继银行业之后部署区块链应用的最火热地带。作为一种必然性结果,全球各大证券交易所积极拥抱区块链技术,肯定会通过这一全新的金融科技工具创造出各自的竞争优势。但是,除了在微观业务层面为证券交易所进行特殊赋能外,更重要的是区块链技术将引领整个证券市场进行脱胎换骨式的创新。首先,区块链可以提高证券发行的效率,推动产品的创新。其次,区块链能够有效降低证券交易结算成本,继而大幅提高证券交易效率。再次,区块链能够提高资产可信度,并能自觉进行信用维护,从而彻底屏蔽投资风险。第四,区块链可以形成对上市企业公司行为的有效约束与股东基本权益的有力保障。最后,区块链能够大大优化监管手段,同时显著提高监管的精准效度。[2019/3/12]
Geth 的可快速同步的全节点
通过从创世区块开始重放所有交易来运行节点的一个问题是,重放所有交易会占用很长时间。一般来说,建立这样一个节点需要数周时间才能从创世区块赶上网络的最新状态。为了加速节点的启动过程,Geth 进一步提供了一种快速同步模式,可以下载最新的稳定区块的 MPT,而无需重放和维护区块之前的历史 MPT。下载完 MPT 后,它会像全节点一样重放新区块(带有定期状态存储)。
声音 | 韩秀成:建议运用区块链对互联网侵权行为进行取证和存证:据人民网报道,国家知识产权局知识产权发展研究中心主任韩秀成近日表示,互联网环境下的区块链技术与知识产权保护是当前的重要课题,建议运用区块链技术对互联网侵权行为进行取证和存证。[2018/12/20]
在不存储历史 MPT(有时甚至是历史区块主体)的情况下,一个 Geth 节点的存储大小可以进一步减少到 447G(截至 2021/12/06)。通过减去 300GB 的区块数据,我们推断状态大小约为 150GB。
以目前以太坊 447GB 的存储大小和 15 TPS,我们预计具有 1TB SSD 的普通配置计算机应该能够运行以太坊节点相当长的一段时间(比如数年)。那么存储爆炸或状态爆炸真的存在吗?或许未来几年以太坊并不会,但假如我们可以将以太坊的虚拟机 (EVM) 扩展到数百或数千 TPS 呢?
让我们将目光转向另一个基于 EVM 的链,币安智能链(BSC)。截至 2021 年 12 月 8 日,BSC 已有:
约 984 GB 链上数据,其中区块约占 550 GB,状态约占 400 GB。
20.6623 亿笔交易,100 TPS
如果我们进一步用交易数量来预测数据大小,我们可以得到:
在美上市区块链中概股普遍收涨:人人网收涨1.03%,寺库收跌1.59%,兰亭集势收跌7.69%,中网载线收涨3.29%,迅雷收跌0.17%。[2018/5/24]
如果 TPS 为 100,即 ~3,153 M TPY
1 年后,总 TX ~5,219M,区块 ~ 1.375 TB,状态 ~ 1.085TB
3 年后,总 TX ~11,525M,区块 ~3.025TB,状态 ~2.387 TB
如果 TPS 为 150(观察到的峰值 TPS),即 ~4,730 M TPY
1 年后,总 TX ~6,796M,区块 ~1.809 TB,状态 ~1.427 TB
3 年后,总 TX ~16,256M,区块 ~4.327 TB,状态 ~3.414TB
综上所述,对于BSC来说,如果保持目前的速度甚至更高,则很快就会达到以太坊存档节点相同的存储大小,这是普通计算机几乎无法运行的。
具有极高 TPS 区块链的存储爆炸问题
如果我们对一个极高 TPS 的区块链(比如像 QuarkChain 能够做到的那样)做一个更大胆的假设,这个数字会变成多少?我们来考虑一个具有 1000 TPS 的区块链并分析其区块和状态大小,将是:
假设 tx 大小约为 100 字节,每年区块所需的存储量为 1000 (TPS) * 100(每 tx 字节数)* 365 * 24 * 3600 = 2.86 TB
假设 MPT 有 100 亿账户(超过世界人口!),我们预计状态大小将为 150G(以太坊状态大小)/0.18B(以太坊唯一地址)* 10B = 8.3 TB
将这些数字放在一起,我们很容易得出一个结论,这是大多数普通配置计算机将 无法承受的要求!
为了优化存储成本,我们必须将限制放宽为兼容 EVM 而不是兼容以太坊。即,我们必须构建/运行另一个支持 EVM 的链,而不是高度优化的以太坊客户端。
状态存储优化
我们提出的第一个优化是使用普通的 KV 而不是 MPT。当 MPT 很大时,MPT 中的所有内部节点可能非常昂贵。而我们的优化将去掉 MPT 中的所有内部节点。假设每个账户的数据大约是 50 字节(20 个地址 + 2 个nonce + 12 个账户 + 其他),我们可以节省下100亿账户的数据为:
~ 10B * 50 + 100GB(代码)= 600 GB,大约是MPT版本的1/10!
虽然使用普通 KV 会带来巨大的好处,但一个主要问题是我们无法在如此短的区块间隔内计算每个区块的状态后哈希,这意味着我们将失去以太坊的以下好处:
快速同步:下载任何区块的状态并通过重放剩余的区块来快速同步网络
分叉检测(或拜占庭检测):来自对等方新创建的区块是否会导致与本地执行区块的状态不同。
为了启用快速同步,我们有一个周期性的快照区块(快照间隔 = epoch = 例如,14 周)。一个快照区块包含前状态哈希这一附加信息,即前一个快照区块的后状态哈希(执行交易之后的状态哈希):
非快照区块不维护状态哈希,而是具有增量哈希,其中包含该区块的所有交易事务的原始数据库操作(删除、更新)的哈希。这使得分叉检测成为可能!
我们使用交易前状态哈希来代替以太坊中区块的交易后状态哈希。原因是节点不能立即计算状交易后的状态哈希,但是通过使用交易前状态哈希,节点可以使用整个epoch间隔来计算哈希。例如,假设状态哈希计算每秒处理 10M 的状态数据,那么计算 600 GB 的整个状态将需要 600 GB / 10 M ~ 16.67 小时(vs. epoch = 14 周)
计算状态前哈希的流程如下:
1. 当一个快照区块被接收并最终确定时,它的 KV 状态被快照,并创建一个后台线程来迭代所有 KV 条目(地址 => 帐户)并计算哈希。
2. 当下一个快照区块被创建时,计算出的状态前哈希值将存储在该区块中。同样,节点将创建 KV 的另一个快照并在后台计算其哈希。
3.当下一个快照区块被创建时,节点除了存储状态前哈希之外,节点现在可以释放快照区块的KV快照,这意味着来自快照区块以来所有被删除/更新的数据将被自动垃圾回收(例如,在 levelDB 中压缩)
其结果意味着,要存储状态,节点只需要最多两个 KV 快照(很可能是一个带增量和一个 KV 快照)。
使用快照区块,我们可以通过仅存储以下数据来进一步减少节点中所需的区块数据:
最新的快照区块的交易执行前状态快照,即(最新 —? 1)快照区块的交易执行后状态
(最新 — 1)快照区块之后的完整区块?
我们可以对存储成本进行简单的数学计算:假设 epoch 持续时间为 2 周,则区块重放大小为
2 * 14(天)* 24(小时)* 3600(秒)* 100 * 1000(TPS)= 224 GB!
而且,这里的数字不会随着时间的推移而增长!
我们分析了以太坊当前的存储使用情况:
不仅是区块,状态存储消耗了很多的空间
当 TPS > 1000 时,存储空间用量高得令人望而却步
我们提出对区块和状态进行优化:
区块大小从每年 2.86 TB 减少到 224 GB
状态大小(~10B 帐户)从 8.3 TB 减少到 600 GB
一台 2TB 的普通配置计算机应该能满足长时间运行节点的条件
缺点:轻节点无法验证状态中的一个数据(必须是全节点)
感谢 dapp-learning 主办此次活动。教学全程视频可点击公众号第二条推送观看。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。