在去中心化社区中管理复杂的人类/机器学习过程这篇文章是BlockSciencexGitcoin合作的最新作品，探索了去中心化社区——GitcoinDAO中人类/机器学习女巫检测管道的操作和治理。
介绍与背景
在本次合作的前几篇文章中，我们探讨了计算机辅助治理对GitcoinGrants生态系统的潜力，以确保以太坊生态系统公共物品资金的可信中立。研究人员KelsieNabben进一步探索了二次方资助系统中固有的sybil弱点的漏洞，证明了Gitcoin中反sybil功能的关键性质。在GitcoinDAO内建立了一个成熟的欺诈检测和防御工作组，以解决GitcoinGrants中的大规模对抗行为。如果这些话题对你来讲比较陌生，可以check文章底部链接，了解以往所有工作。
BlockScience、TokenEngineering和Gitcoin社区一起，一年多来一直致力于改进GitcoinGrants平台上的欺诈检测和防御。GitcoinDAO的女巫检测和欺诈预防之旅始于机器学习(ML)算法的研发，以检测潜在的女巫行为、算法的实现和操作、评估和评估算法以调整敏感性和特异性，并根据Gitcoin平台的条款和条件将算法与人工监督和评估结合起来，以管理和升级算法。在GitcoinDAO的监督下，此算法政策流程已逐步移交给FDD工作流中的GitcoinDAO贡献者进行治理和维护。
该图显示了ASOP在更大的GitcoinDAO生态系统中的位置。它显示了DAO的各个功能子组，以及它们与欺诈检测和防御工作组之间的互连。有关更多详细信息，请阅读FDD成员MichaelZargham和JessicaZartler的这篇Gitcoin论坛帖子。
本文重点介绍GitcoinDAOFDD工作组中涉及的不同工作模式，特别是在人类ML反女巫操作化流程的渐进式操作中纳入更熟练的GitcoinDAO贡献者。它还将引入一种称为社会技术频率图的新工具，用于了解进入这种混合人机学习过程的不同工作模式和频率。最终，我们正在探索如何让DAO成功地将复杂的工作和自动化组件分解为由去中心化的贡献者子组执行的可实现的任务。
扩展反女巫操作流程(ASOP)
机器学习管道的治理是关于日常系统中的自动化决策基础设施。在GitcoinDAO中，设计并构建一种半监督、人在环路，机器学习(ML)算法，用于大规模女巫检测。自动化和机器学习不是在决策中可以掉以轻心的工具，尤其是当人类福祉和社会动态关系到结果时。因此，我们必须确保将适当的人工输入、监督和上诉应用于该女巫检测算法，并且对其进行管理仍然是一个开放的过程。关于这些原因的更广泛讨论可以在《EthicalAlgorithm》or《HelloWorld:BeingHumaninanAgeofAlgorithms》等书籍中找到。
机器学习管道包括根据Gitcoin平台的条款和条件定义被视为欺诈行为的行为，然后是算法标记、对这些标记的人工评估以及按比例进行制裁所谓的不当行为。为了让这个过程运行良好，需要与GitcoinDAOFDD工作组合作将算法嵌入到管理过程中。
实际上，ML算法识别使用模式，并将用户标记为“女巫”或“非女巫”,’以及其标志准确性的置信度分数。
为了帮助和提高检测算法的准确性，该过程涉及一个微服务，FDD操作组可以调用该微服务将用户的随机子集发送给人类评估人员。这些评估人员是FDD组的志愿者，他们会查看该子集并自行决定用户是否可能是女巫攻击者。这种人工输入会反馈给算法，以不断提高其准确性。
在这个可操作的过程中构建女巫检测有几个优点。首先，该过程包括通过审查算法的某些决策来进行人工判断。这节省了时间，并使sybil检测过程能够随着Grants平台上的流行和不断增长的需求而扩展。其次，人工标记扩展了算法可用于未来模型训练和验证的数据集，不断使其更有效地检测女巫模式。第三，透明的决策和工作流程使标记过程对更广泛的社区负责，社区可以通过GitcoinDAO管理员和新生过程进行监督。
目前的ASOP各个部分的结构如下。蓝色方框是自动微服务，FDD工作组的任何成员都可以调用它来激活ASOP的各种组件。
此图显示了反女巫操作化流程中可用的不同子系统、数据集、操作和微服务。
FDD工作组内的工作阶段
欺诈检测与防御小组的工作分为两个不同的阶段：开发和运营。这些阶段按顺序进行，并不断建立在先前资助轮次中吸取的经验教训之上。
在开发阶段，目标是使女巫检测更好：更准确、更快、更自动化。此阶段的一个优先事项是讨论如何在不改变系统的重要属性的情况下更改系统以实现预期目标。现在是研究前几轮以及调查共谋和欺诈预防框架的时候了。决策是基于有关哪些算法和模型可能在一轮中发挥最佳作用的研究做出的。也正是在添加或改进功能时，才会在运营阶段发挥作用。工作节奏往往较慢，因为研究、讨论和构建都需要时间。
另一方面，操作阶段几乎没有时间进行深入、缓慢的思考。此阶段的目标是确保在开发阶段设计、构建和完善的系统能够顺利有效地运行。必须清楚明确地规定在开发中决定的流程，以确保不同的资助轮次之间和每一轮资助周期的一致性。当资助开始时，重要的是所有参与运营阶段的贡献者都知道他们的角色并准备好扮演它，因为当成千上万的捐赠进入并且必须处理女巫攻击者时，几乎没有时间进行培训。为此，已准备好详细说明这些角色和程序的大量文档，并且在每一轮资助之前，FDD小组都会运行模拟的女巫标志评估场景，以确保每个人都在同一页面上。
去中心化社区中的集群工作流模式和频率：社会技术频率图
在获得许可的组织内设计和运行人类机器学习sybil检测算法是一回事——试图通过向DAO的治理开放来去中心化该过程是另一回事。维护和改进ASOP的任务列表包括管理数据操作、贡献者访问控制、授予标记上诉和制裁、附加功能请求以及上述所有内容的无缝集成。即使对于高度协调的团队来说，这也是一项艰巨的工作——在DAO的成员之间分散和分配这些任务需要深谋远虑，并深入了解社会技术系统如何在不同的时间尺度和工作模式下运作。
Gitcoin向DAO的转变非常迅速，并且发生在反sybil管道仅部署一轮时。为了将这一关键反女巫流程的管理转移到GitcoinDAO社区，而不是仅仅依赖Gitcoin或BlockScience团队，我们呼吁具有相关技能的社区志愿者帮助协调和管理ML管道。
挺身而出的贡献者按可用性和能力分组到工作组中所需的角色中，以适合他们的技能集和可用时间。工作被分解为整个工作组的职能和任务，再次按工作频率和所需技能组合进行分组。工作组现在拥有从工程师到数据科学家、开发运营、运营安全和社区管理的贡献团队，在不同的子工作组中执行不同时间尺度的不同种类任务。
在下图中，我们称之为社会技术频率图，您可以看到FDD工作组的各种任务和功能。它们沿x轴根据工作模式分组，左侧是更多面向社会的任务，右侧是更多面向技术的y任务。它们还根据沿y轴的工作频率进行分组，低延迟实时工作在图表顶部，高吞吐量长期工作在底部图的。
通过GitcoinDAOFDD功能的社会技术频率图了解社会技术系统中不同的时间尺度和工作模式。
通过分解不同的工作模式和节奏，可以对处理复杂问题的去中心化团队产生实质性的影响，因为在捆绑具有不同规模和性质的工作时，存在与上下文切换相关的大量认知成本。
在社会技术频率图中识别工作对象坐标的启发式方法可以描述为：作品是否需要响应性和同步性？它需要准日常仪式吗？如果是，那么它可能是面向实时轴的。工作产出的“好坏”是否可以用可衡量和共识的标准来指定？是否有可能准确描述应该如何以其他人可复制的方式完成某事？如果是，则它面向技术轴。
工作的成功是否主要取决于集中注意力而不是广泛关注？可以用非线性时间开发吗？如果是，可能它是面向长期轴的。一件作品的成功衡量和操作方法是否相对在旁观者的眼中？它是否需要混合其他人难以甚至不可能完全复制的属性？如果是这样，那么它可能是面向社会轴的。
在具有不同成员和技能的多个工作流中沟通和管理期望，对于ASOP的平稳运行至关重要——这是保持GitcoinGrants可信中立和平稳运行的关键部分，尽管必须在“飞行中”运作，而更广泛的治理组织正在向DAO过渡。
结论
在各种DAO和组织中，分布式团队在复杂工作流程上协作所面临的困难存在类似的模式。本文阐明了其中一些挑战，并提出了有用的框架，如社会技术频率图，以帮助划分和操作工作流。了解所需工作的不同模式和节奏使我们能够分解松散耦合的工作组之间的任务和职责，这些工作组可以半自主地运行以实现他们的目标，所有贡献都将输入到更大的GitcoinDAO系统中。
我们与GitcoinDAO欺诈检测与防御小组的合作仍在继续，我们期待着从今天开始的GitcoinRound12开始！如果您想参与欺诈检测和防御工作组，请联系GitcoinDAOFDDDiscord频道以了解最新情况。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。