2020年给我们的日常词汇带来了很多新词汇——想想冠状病、封锁、大流行、退款。但在数据世界中，另一个短语一直在流传……现代数据堆栈
数据世界最近汇集了处理海量数据的最佳工具集，即“现代数据堆栈”。这包括在同类最佳工具上设置数据基础架构，例如用于数据仓库的Snowflake、用于数据湖的Databricks和用于数据摄取的Fivetran。
现代数据堆栈的优点：现代数据堆栈非常快，很容易在几秒钟内扩展，而且需要很少的开销。缺点：在数据治理、信任和上下文方面，它仍然是个新手
数据堆栈-元数据的来源
那么，现代元数据在今天的现代数据堆栈中应该是什么样子呢？基本数据目录如何发展成为数据民主化和治理的强大工具？为什么要进行元数据管理需要一个范式的转变来满足今天的需求？
为什么现代数据堆栈比以往任何时候都更需要“现代”元数据管理？
几年前，数据主要由组织中的IT团队使用。然而，今天的数据团队比以往任何时候都更加多样化——数据工程师、分析师、分析工程师、数据科学家、产品经理、业务分析师、公民数据科学家等等。这些人中的每一个都有自己喜欢的、同样多样化的数据工具，从SQL、Looker和Jupyter到Python、Tableau、dbt和R。
这种多样性既是一种力量，也是一种斗争。这些人都有不同的解决问题的方式、工具、技能组合、技术堆栈、工作方式……本质上，他们每个人都有独特的“数据DNA”。
结果往往是协作中的混乱。令人沮丧的问题，例如“此列名称实际上是什么意思？”和“为什么仪表板上的销售数字又错了？”在需要使用数据时让快速团队陷入困境。
火币推出《一分钟读懂DeFi》系列科普视频:据官方消息，8月24日，火币推出《一分钟读懂DeFi》系列科普视频，并与微博财经合作冠名播出，布道DeFi认知，助力行业发展《一分钟读懂DeFi》是由火币成长学院打造的业内首个系统全面讲解DeFi的系列科普动画，继推出《区块链100问》后的再续佳作。《一分钟读懂DeFi》系列动画对DeFi的发展进行系统梳理，适合想要由浅入深、全面系统了解区块链DeFi的人们轻松了解DeFi。目前视频已由火币网官方微博发布。[2020/8/24]
这些问题并不新鲜。毕竟，Gartner发布元数据管理解决方案魔力象限已经超过5年了。
但是仍然没有很好的解决办法。大多数数据目录只不过是Hadoop时代的创可贴解决方案，而不是跟上当今现代数据堆栈背后的创新和进步。
元数据管理的过去和未来
就像数据一样，我们思考和使用元数据的方式在过去三年中一直在稳步发展。它可以大致分为三个演进阶段：数据目录1.0、数据目录2.0和数据目录3.0。
数据目录1.0：IT团队的元数据管理
时间：1990年代和2000年代初
产品：Informatica、Talend
元数据在技术上自古以来就存在——例如附在亚历山大图书馆每卷卷轴上的描述性标签。然而，元数据的现代概念可以追溯到1900年代后期。在1990年代，我们庆幸将软盘放在一边，并拥抱了这种称为互联网的新奇工具。很快，大数据和数据科学风靡一时，组织正试图弄清楚如何组织他们的新数据集合。
人大附中物理老师李永乐科普拜占庭将军问题和区块链:5月14日，人大附中物理老师、科普视频网红李永乐在其公众号发布视频《拜占庭将军问题是什么？区块链如何防范恶意节点？》。李永乐老师在视频中对拜占庭将军问题和区块链进行了讲解，他表示，拜占庭将军问题本质上指的是，在分布式计算机网络中，如果存在故障和恶意节点，是否能够保持正常节点的网络一致性问题。在近40年的时间里，人们提出了许多方案解决这一问题，称为拜占庭容错法。例如兰波特自己提出了口头协议、书面协议法，后来有人提出了实用拜占庭容错PBFT算法，在2008年，中本聪发明比特币后，人们又设想了通过区块链的方法解决这一问题。区块链通过算力证明来保持账本的一致性，也就是必须计算数学题，才能得到记账的权力，其他人对这个记账结果进行验证，如果是对的，就认可你的结果。与拜占庭问题比起来，就增加了叛徒的成本。[2020/5/14]
随着数据类型和格式以及数据本身的爆炸式增长，IT团队负责创建“数据清单”。像Informatica这样的公司在元数据管理方面处于领先地位，但是对于IT人员来说，建立和保持新的数据目录一直是一项艰巨的任务。
数据仓库团队经常花费大量时间谈论、担心元数据，并为元数据感到内疚。由于大多数开发人员天生厌恶文档的开发和有序归档，因此尽管每个人都承认元数据很重要，但元数据通常会从项目计划中删除。”
–拉尔夫·金博尔，2002
数据目录2.0：由数据管理员提供动力的数据库存
时间：2008-2020
产品：collibra，Alation
动态 | 区块链技术入选科普杂志《科学美国人》2019十大突破性技术榜单:据新浪网今日新闻报道，美国科普杂志《科学美国人》公布 2019 十大突破性技术榜单。区块链技术因在保障食品安全中的作用而上榜。 入选榜单具体原因：区块链技术的发展应用将显著改善食品污染源数据追踪的困境。利用区块链云端系统，食品制造商可以依次在计算机储存各类过程的信息。[2019/9/29]
随着数据变得越来越主流并扩展到IT团队之外，数据管理的想法开始生根发芽。这指的是一组专门负责管理组织数据的人员。他们将处理元数据、维护治理实践、手动记录数据等。
与此同时，元数据的想法发生了变化。随着公司开始建立大规模的Hadoop实施，他们意识到简单的IT数据清单已经不够了。相反，新的数据目录需要将数据清单与新的业务环境相融合。
就像这个时代超级复杂的Hadoop系统一样，DataCatalog2.0很难设置和维护。它们涉及严格的数据治理委员会、正式的数据管理员、复杂的技术设置和冗长的实施周期。总而言之，这个过程可能需要长达18个月的时间。
这个时代的工具基本上是建立在整体架构上并部署在本地的。每个数据系统都有自己的安装程序，公司无法通过推送简单的云更新来推出软件更改。
技术债务不断增长，元数据管理开始稳步落后于其他现代数据栈
元数据中范式的转变
尽管其他数据基础架构堆栈在过去几年中得到了发展，而且Fivetran和Snowflake等工具让用户可以在不到30分钟的时间内建立一个数据仓库，但数据目录却跟不上。即使尝试使用DataCatalog2.0时代的元数据工具也需要花费大量的工程时间进行设置，更不用说至少与销售代表进行5次通话以获得演示
动态 | 美国演说家Anthony Robbins开始科普什么是比特币:美国演说家安东尼·罗宾（Anthony Robbins）在自己的网站上发布了一篇比特币的科普文章，并在推特上向自己的粉丝介绍什么是比特币，目前他的推特账户共有粉丝304万人。[2019/1/1]
由于缺乏可行的替代方案，现代数据堆栈的最早采用者和大多数大型科技公司都诉诸于构建自己的内部解决方案。一些著名的例子包括Airbnb的Dataportal、Facebook的Nemo、LinkedIn的DataHub、Lyft的Amundsen、Netflix的Metacat和Uber的Databook。
然而，并不是所有的公司都有这样的工程资源，而且构建几十个类似的元数据工具并不是特别有效。
数据目录3.0：面向不同数据用户的协作工作区
今天，我们正处于元数据管理的转折点——从缓慢的内部部署数据目录2.0转变为新时代数据目录3.0的开始。就像从1.0到2.0的跳跃一样，这将是我们对元数据的看法的根本转变
DataCatalog3.0的外观和感觉与DataCatalog2.0代的前辈不同。相反，数据目录3.0将建立在嵌入式协作的前提下，这是当今现代工作场所的关键，借鉴了Github、Figma、Slack、Notion、Superhuman和其他当今司空见惯的现代工具的原则
数据目录3.0的4个特征
声音 | 中科院姚建铨：要加快推进区块链与物联网融合的科普 培训:据新华网消息，日前，在区块链与物联网融合发展峰会上，中国科学院院士姚建铨说，关注区块链技术里面的大数据，跟区块链技术结合起来进行测量和检测，能更好地提升激光清洗技术。姚建铨建议，无锡今后要加快推进区块链与物联网融合的科普、培训，正确引导广大人民群众对技术的认知；同时，建立专业、权威，但又普适、成套的理论体系和标准，以此切入区块链的实际应用。[2018/9/18]
1.数据资产》表格
DataCatalog2.0生成的前提是“表格”是唯一需要管理的资产。但现在完全不一样了。
如今，BI仪表板、代码片段、SQL查询、模型、功能和Jupyter笔记本都是数据资产
3.0代元数据管理将需要足够灵活，以便智能地存储和将所有这些不同类型的数据资产链接在一个地方。
2.端到端数据可见性，而不是零碎碎的解决方案
数据目录2.0时代的工具在改进数据发现方面取得了重大进展。然而，他们并没有为组织提供数据的“单一事实来源”。有关数据资产的信息通常分布在不同的地方——数据沿袭工具、数据质量工具、数据准备工具等等。数据目录3.0将帮助团队最终实现圣杯，即组织中每个数据资产的单一事实来源。
3.元数据为“大数据”的世界而构建
我们正在快速接近元数据本身就是大数据的世界。能够处理和理解元数据将有助于团队更好地理解和信任他们的数据。
这就是为什么新的数据目录3.0应该不仅仅是一个元数据存储的原因。
它应该从根本上利用元数据作为一种数据形式，可以以与所有其他类型的数据相同的方式进行搜索、分析和维护
今天，云的可扩展性使这成为可能，这是前所未有的。例如，查询日志只是当今可用的一种元数据。通过解析Snowflake中查询日志中的SQL代码，可以自动创建列级沿袭，为每个数据资产分配流行度分数，甚至可以推断每个资产的潜在所有者和专家。
4.嵌入式协作已经成熟
Airbnb在分享他们在推动采用内部数据门户方面的经验时说了一些深刻的话：“设计数据工具的界面和用户体验不应该是事后的想法。”
由于数据团队的基本多样性，需要设计数据工具以与团队的日常工作流程无缝集成。
这就是嵌入式协作理念真正活跃的地方。嵌入式协作是指在您所在的位置进行工作，摩擦最少。
如果可以在获得链接时请求访问数据资产，就像使用GoogleDocs一样，并且所有者可以在Slack上获得请求并立即批准或拒绝它，该怎么办？或者，当您检查数据资产并需要报告问题时，您可以立即触发与工程团队的JIRA工作流程完美集成的支持请求，该怎么办？
嵌入式协作可以统一数十个这样的微型工作流程，这些工作流程会浪费时间、造成挫折并导致数据团队的工具疲劳，反而让这些任务变得有趣！
数据保护与连接元数据
为什么保护元数据如此重要？
连接元数据是您在线进行操作时生成的数据，例如访问网站、使用应用程序或发送消息。此元数据记录信息，例如谁发送了数据、他们将数据发送到何处、何时以及发送了多少数据。简而言之，它是关于数据的数据。
就其本身而言，这似乎并不多，但每次在线互动都会生成数十个元数据，几乎都是公开的或易于查找的。如果有人收集了足够多的元数据，他们很快就会清楚地了解你的在线活动，并了解你的线下生活。即使连接是端到端加密的，这也是可能的。
为什么存在连接元数据？
因此，如果存在这样的问题，为什么不停止创建所有这些元数据，或者至少将其设为私有？不幸的是，事情并没有那么简单：公共元数据对于互联网目前的运作方式至关重要，这是一个没有人能够想象互联网会发展到多大的时代的遗物，或者恶意行为者可能会如何滥用它。
基本上，可以把它想象成邮寄一封信。内容可以密封在信封中，但要到达目的地，信封需要清楚地注明地址。任何人都可以读取此地址信息。如果他们愿意，他们可以记下信封的去向、信封有多大以及何时寄出。随着时间的推移，他们可以建立这些信息的数据库并开始寻找模式。所有这些都无需打开信封。
如果我可以看到您在哪些商店购物、您正在使用哪些应用程序以及您向谁发送消息，我实际上不需要知道您的消息内容或您购买的完整详细信息来推断很多关于你的信息。
但是谁真正看到了这个元数据？每次上网时，数十家不同的公司和服务都会看到并可能记录此元数据。有互联网服务提供商(ISP)、电信公司、使互联网正常工作的DNS服务器和内容交付网络(CDN)，例如Cloudflare，它们实际上为大部分Web内容提供服务。大多数情况下，这些服务都在未经您同意的情况下收集和存储有关您的信息。
现代网络服务相互关联的方式意味着这个列表只会增加。例如，如果访问一个嵌入了YouTube视频的网站，那么即使不点击视频，Google也会收到访问通知。这些信息可以通过IP地址轻松链接到用户的姓名，谷歌通过用户的谷歌帐户知道用户的姓名，并添加到谷歌维护的关于用户的详细档案中。不仅仅是谷歌。同样的事情也发生在Facebook，或者像Medium这样的博客托管网站，或者即时消息平台。这一切都不需要cookie或任何额外的代码，更改您的隐私设置也不会阻止它。这就是当今互联网的运作方式。
那时我们甚至还没有遇到黑客、政府过度干预等问题，以及如果用户是在线企业，如何安全地处理和保护元数据的巨大问题，现在监管机构已经开始注意到这一点。但这些是未来剧集的主题。
公共连接元数据在Internet的工作方式中根深蒂固，因此没有简单的解决方案。解决它的唯一方法是采用全新的数据传输方法。
目前，区块链项目开始关注这一领域。即使得用户、公司和设备在完全隐私的情况下，进行在线交换信息。通信和交易的人可以确保没有人能够知道正在共享哪些数据、谁正在发送或接收数据，甚至有多少数据被发送。
最重要的是，具备去中心化的、完全透明且无需信任的特点，意味着永远不必依赖第三方，也永远不会被锁定在服务中或不得不放弃对数据的控制。
DAOrayakiDAO研究奖金池：
资助地址:0xCd7da526f5C943126fa9E6f63b7774fA89E88d71
投票进展：DAOCommittee3/7通过
赏金总量：120USDC
研究种类：DAO,?Metadata,DataStacks,DataCatalog3.0
原文作者:Prukalpa
贡献者：?Dewei,DAOctor@DAOrayaki
原文:DataCatalog3.0:ModernMetadatafortheModernDataStack
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。