简介
11月13日，ElonMusk为Twitter进行了1000多次RPC来呈现用户的主页时间线而道歉。乍一看，如此大量的RPC似乎很荒谬。如今，Twitter每月为2.6亿活跃用户提供服务，并且可以近乎实时地提供服务。为了解决亚秒级延迟的大规模采用问题，Twitter率先推出了许多解决方案，包括ApacheStorm、Heron、DistributedLog和Aurora。他是Scala的主要贡献者，包括finagleRPC框架，以及lambda架构、SnowflakeID和Segcache等创新。那么，为什么像Twitter这样的创新型全球化公司需要如此多的调用来获取用户的时间线数据？
Twitter所面临的问题让我们想起了当前Web3中不断增长的烦恼：开发者常常被迫一个接一个地连续调用许多API来获取组装业务逻辑的数据。这会导致性能不可靠且不可预测，即使对于最简单的用例也是如此，例如获取用户的交易历史记录。就增长而言，前十大公链的交易量在两年内翻了100倍。在图1中，我们展示了每秒推文数量和每秒Web3交易数量之间的比较。如果Web3继续沿着图中描绘的轨迹发展，那么当今大多数Web3数据基础设施解决方案将无法应对增长。
图1：推文与Web3排名前10的链早期写流量QPS对比。
NFT交易平台Magic Eden已接入OKX Web3钱包:4月26日消息，据官方消息，OKX Web3 钱包与 NFT 交易平台 Magic Eden 达成官方合作，用户可通过连接 OKX Web3 插件钱包在 Magic Eden 交易 NFT。同时 OKX Web3 钱包的 Discover 板块也收录了 Magic Eden，用户可在 OKX Web3 钱包内进入 Magic Eden 探索、铸造和交易 NFT 等。
据悉，OKX Web3 钱包是最全面的异构多链钱包，已支持近 60 条公链，App、插件、网页三端统一。[2023/4/26 14:28:18]
在这篇博文中，我们将重点介绍Web3可以从Twitter的扩展解决方案中学到什么。具体来说，我们讨论以下内容:
?我们概述了Twitter的时间线基础设施之旅，认为他们当前的架构确实对特定用例有意义，并得出结论，一些批评可能是错误的，例如ElonMusk最近的推文为渲染主页时间线的大量RPC道歉。
?我们深入研究Twitter和Web3之间的技术相似性，并探索前者的解决方案如何使后者的解决方案受益。
?我们分析了当前的Web3增长趋势，以及缺乏现有的高性能数据基础设施解决方案，并得出结论，如果我们想要支持实时Web3数据访问，则需要进行重大升级，以及ZettaBlock解决方案如何帮助开发人员减少70%的开发时间，并将性能提高10倍，演示可以在这里找到
Web3游戏工作室SinVerse Studios获得DWF Labs数百万美元投资:4月11日消息，Web3游戏工作室SinVerse Studios获得DWF Labs数百万美元投资，具体金额未透露。通过DWF Labs的战略合作伙伴关系和投资，SinVerse Studios计划开发Web3游戏主机The NFT Cube。
据悉，SinVerse是一款区块链上的Mafia元宇宙项目，SinVerse的原生代币SIN目前在币安智能链区块链上运行。（Bitcoin.com）[2023/4/11 13:55:58]
Twitter的数据基础架构之旅
一开始，Twitter使用VanillaMySQL。这很快成为了一个问题，因为在最初的几年里，推文的数量每年增长10倍。从2007年到2012年，Twitter的月活跃用户从几千人增长到超过1.38亿。已知的水平和垂直切分的知识无法为Twitter处理高流量的性能，尤其是在渲染主页时间线方面。
时间线是Twitter的主要平台功能之一。一般来说，Twitter的时间线主要有两个操作，具体如下:
1.写入路径：该路径用于用户发布推文。2012年，Twitter平均每秒处理4.6万个写入请求，在高峰时段处理1.2万个RPS。
2.读取路径：此路径用于用户请求他们的时间线。2012年，Twitter每秒处理大约30万次读取请求。
为了更好地理解Twitter如何呈现时间线，让我们更深入地研究呈现流程，如图2所示。当Twitter用户今天发布一条推文时，Twitter首先将其写入Manhattan，一个分布式键值数据库，用于存储用户推文、直接消息、帐户详细信息等。该推文在时间线缓存中向该用户的所有关注者展开。虽然这将写入放大从每秒4.6k请求增加到每秒345k请求，但它也大大降低了用户的读取延迟。因此，时间线渲染不是在关注者和推文之间做一个连接表，而是从缓存中的单个表中获取推文。这些操作通常在不到5秒的时间内完成。通过分布正在写入的数据，系统可以通过删除表连接来避免过度增长。因此，读取延迟被改进到几百毫秒。
Darwinia Network：正向Web3基金会申请拨款，用于部署Accountable Light Client的solidity验证器:2月24日消息，Darwinia Network发推称，团队目前正在向Web3基金会申请一笔新的拨款，用于部署Accountable Light Client的solidity验证器。据悉，Accountable Light Client使用一种创新的自定义SNARK方法，使聚合签名验证的证明更短。[2023/2/24 12:26:58]
图2：Twitter的时间线渲染流程。请注意，时间线中的每条推文都需要至少一个RPC。
前面提到的渲染流程对于绝大多数用户来说可能已经足够了，但是“超级中心用户”呢？超级中心用户是指拥有众多粉丝的用户。所描述的扇出模式，在超级中心用户的情况下，可以放大1.2亿倍！这就是为什么在Twitter的早期，有专门为贾斯汀·比伯(JustinBieber)提供的专用服务器机架。为了容纳超级中心用户，使用了一种称为Earlybird的特殊服务。在Earlybird中，超级中心用户和普通用户分别获取不同的推文。这个过程如下面的图3所示。
Web3时尚平台Syky完成900万美元A轮融资:1月17日消息，Web3 时尚平台 Syky 完成 900 万美元 A 轮融资，此轮融资由风投公司 Seven Seven Six 领投，Brevan Howard Digital、Leadout Capital、First Light Capital Group 和 Polygon Ventures 参投。新资金将用于组建 Syky 团队、将设计师融入社区以及进行产品和技术开发。 据报道，Syky 将于 1 月 20 日发行 NFT 会员通行证 The Keystone，持有者可获得独家访问权限，在平台与其他创作者建立联系和协作，并能够参加线上和面对面的时尚活动。[2023/1/17 11:16:41]
图3：左侧描绘了Twitter用户混合时间线的抽象说明，右侧描绘了相应的读取SQL。
既然我们已经描述了提供实时推文时间线背后的复杂性，那么为什么单个时间线渲染需要许多RPC就很清楚了。例如，对于只有100条推文的时间线，RPC调用很容易超过1000次，因为仅仅获取一条推文就需要多次RPC调用。该解决方案乍一看可能并不直观，但它是一种经过深思熟虑的权衡，旨在为最终用户提供优化且可预测的读取性能。
Twitter实现的最终结果非常积极：99%的延迟只有几百毫秒左右。在过去的10年里，这种基础架构已经被证明是可靠的，可以在没有重大变化的情况下处理Twitter流量的高速增长。
请注意，我们忽略了Twitter时间线的其他方面，包括评分、排名等。有关这方面的更多详细信息，请参阅本文末尾列出的参考资料。
曹寅分享2022年值得关注的六大Web3投资主题:12月29日消息，数字文艺复兴基金会董事总经理曹寅分享自己认为2022年值得关注的几大Web3投资主题：
1. 加密人作为一个重要消费群体。可以关注帮企业赚加密用户钱的项目。
2. DAO的公司化，公司的DAO化。可以关注（伟大的）DAO本身、DAO基础设施。
3. 南美、非洲、东南亚的Web3社区的崛起。可以关注以上地区的社区型项目/门户型项目。
4. Opensea的竞争者、颠覆者。可以关注OS的直接竞品，比如Rarible、LooksRare，以及未上线竞品，也包括其他链上竞品；垂直赛道竞品的平台化，比如正平台化的SuperRare、KnownOrigin。
5. 音乐NFT。可以关注高质量音乐平台，比如Pianity。
6. Web2金融企业的DeFi试验。可以关注同Web2金融合作，并有积极进展的DeFi项目，比如同美国头部Web2金融Current合作的Acala Network。[2021/12/29 8:11:37]
Web3和Twitter数据的相似之处
图4：Twitter和Web3数据的相似之处
Twitter和Web3生态系统有很多相似之处：
1.Web3是一个社交图谱，推文类似于交易，回复类似于日志。图4描述了这一点，其中比较了顺序时间线渲染和顺序区块链的块。
2.Web3协议和Twitter存在超级中心效应。最受欢迎的NFT平台的交易量是第10个平台的1000倍。
3.Web3和twitter都是开放平台，对所有用户可见，并允许某些API访问。
如果我们放大一点，Twitter和Web3之间的数据访问模式有更多相似之处：
1.读取量大，但每条记录很小。在EVM链上，日志和交易的平均大小只有几KB。
2.最新数据将被更频繁地查看，其中大部分查看来自发布后的前几个小时。
3.数据在短时间是不可变的。链上数据可以通过reorg恢复最新的区块。同样，现在用户可以在发布后的一段时间内编辑推文。
Web3可以从Twitter的架构中学到什么
与2020年初相比，前10大链的交易量已经增长了近100倍。Web3数据基础设施的现状类似于2008年前后的Twitter早期，当时大部分流量依赖于来自不同提供商的水平分片数据库。因此，随着Web3的持续增长，现有的Web3数据基础设施将很难提供对数据的高性能访问。
来自Twitter的扇出服务是将相关数据同时放在同一位置。这样，当一个请求到来时，系统可以很容易地在一个地方找到相关数据，这导致数据已经被预处理并可以使用。这使得系统具有可扩展性，和可预测的性能。
遵循当前现状的Web3应用程序缺少一个重要的组件来有效地聚合相关数据。具体来说，开发者必须一个一个地调用API来获取数据。即使对于最简单的用例，例如获取用户的交易历史记录，这也会导致性能不可靠且不可预测。
图5：当前的Web3应用程序需要如何连续调用许多不同的API，即使是简单的事务聚合。
由于所有Web3数据都是公开可用的，ZettaBlock构建了最先进的数据基础设施来处理所有Web3开发人员的扇出部分。应用程序开发人员只需通过一个API指定他们想要查询哪些相关数据，然后让ZettaBlock聚合所有相关数据。如图6所示。通过使用ZettaBlock，开发时间和API延迟分别减少了70%和90%。在https://demo.zettablock.dev/查看我们的演示。更多的技术细节将在未来分享。
图6：与图5相比，ZettaBlock将多个Web3数据集抽象为一个简单、用户友好且高效的API。
结论
在这篇博文中，我们剖析了Twitter的架构，并将其数据模型与Web3进行了比较，发现了许多相似之处。如果我们能得到一个信息，那就是许多现有的Web3数据基础设施解决方案，就像早期的Twitter一样，将无法跟上即将到来的数据需求。
这就是我们构建ZettaBlock的原因。ZettaBlock是一个全栈式Web3数据基础设施平台，可提供实时、可靠的API和分析，在几分钟内为您的应用程序提供支持。前面提到的扇出过程，这只是ZettaBlock上开发人员和企业可用的众多功能之一。我们受到领先的web3公司的信任，如Polygon,Crypto.com,Circle等。我们的愿景是成为web3数据基础设施的首选平台。
请查看我们的演示/视频了解详细信息。
鸣谢
我想借此机会向所有在这篇文章中帮助过我的人表示衷心的感谢。特别感谢KevinRos、ChiZhang、MariaAdamjee、RaphaelSerrano、ZhenzhongXu、PaulTluczek、TianzhouChen、HemanthSoni、NitishSharma、RyanKim、AlexXu、VivekGopalan、NazihKalo、NirmalKrishnan、TimothyChen、MinHao、BoYang
参考
1.TimelinesatScale:
https://www.infoq.com/presentations/Twitter-Timeline-Scalability/
2.HowTwitterusesredistoscale105TBRAM:
http://highscalability.com/blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html
3.WhatDatabasedoesTwitteruse?
https://scaleyourapp.com/what-database-does-twitter-use-a-deep-dive/
4.TwitterDataStorageandProcessing:
https://ankush-chavan.medium.com/twitter-data-storage-and-processing-dd13fd0fdb30#:~:text=That%20equals%20to%20the%2084,time%20the%20request%20is%20made
?责任编辑：Kate
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。