优惠论坛

标题: 数据索引的繁与简：从区块链节点到全链数据库(转) [打印本页]

作者: 935a 时间: 2024-9-17 23:58
标题: 数据索引的繁与简：从区块链节点到全链数据库(转)

从一开始了解「区块链是什么」时，我们就常看到这样一句话：区块链是去中心化的记账本。区块链节点是整个区块链网络的基础，承担着记录、存储和传播链上所有交易数据的责任。每个节点都拥有一份完整的区块链数据副本，确保网络的去中心化特性得以维持。然而，对于普通用户来说，自建和维护一个区块链节点并非易事。这不仅需要专业的技术能力，还伴随着高昂的硬件和带宽成本。同时，普通的节点查询能力也有限，无法以开发人员需要的格式查询数据。因此，尽管理论上每个人都可以运行自己的节点，但实际操作中，用户通常更倾向于依赖第三方服务。

为了解决这一问题，RPC（远程过程调用）节点提供商应运而生。这些提供商负责节点的成本和管理，并通过 RPC 端点提供数据。使得用户可以无需自建节点，便可轻松访问区块链数据。公共 RPC 端点是免费的，但有速率限制，可能会对 dApp 的用户体验产生负面影响。私有 RPC 端点通过减少拥塞提供更好的性能，但即使是简单的数据检索也需要大量的来回通信。这使得它们请求繁重，对于复杂的数据查询效率低下。此外，私有 RPC 端点通常难以扩展，并且缺乏跨不同网络的兼容性。但节点提供商标准化的 API 接口给予了用户访问链上的数据更低的门槛，为后续的数据解析和应用打下了基础。

2.2 数据解析：从原型数据到可用数据

从区块链节点获取的数据往往是经过加密和编码处理的原始数据。这些数据虽然保留了区块链的完整性和安全性，但其复杂性也增加了数据解析的难度。对于普通用户或者开发者来说，直接处理这些原型数据需要大量的技术知识和计算资源。

数据解析的过程在这一背景下显得尤为重要。通过将复杂的原型数据进行解析，转换为更易理解和操作的格式，用户可以更直观地理解和利用这些数据。数据解析的成功与否直接决定了区块链数据应用的效率和效果，是整个数据索引流程中的关键一步。

2.3 数据索引器的演进

随着区块链数据量的增加，数据索引器的需求也日益增加。索引器在组织链上数据并将其发送到数据库以便于查询方面起着至关重要的作用。索引器的工作原理是索引区块链数据并通过类似于 SQL 的查询语言（GraphQL 等 API）使其随时可用。通过提供查询数据的统一界面，索引器允许开发人员使用标准化查询语言快速准确地检索所需的信息，从而大大简化了流程。

不同类型的索引器通过各种方式优化数据检索：

完整节点索引器：这些索引器运行完整的区块链节点并直接从中提取数据，确保数据完整准确，但需要大量的存储和处理能力。
轻量级索引器：这些索引器依靠完整节点根据需要获取特定数据，从而减少存储要求但可能会增加查询时间。
专用索引器：这些索引器专门针对某些类型的数据或特定的区块链，可优化特定用例的检索，例如 NFT 数据或 DeFi 交易。
聚合索引器：这些索引器从多个区块链和来源提取数据，包括链下信息，提供统一的查询界面，这对于多链 dApp 特别有用。
目前，以太坊档案节点（Archive Node）在 Geth 客户端中的存档模式占用了约 13.5 TB 的存储空间，而在 Erigon 客户端下，存档需求约为 3 TB。随着区块链的不断增长，档案节点的数据存储量也会随之增加。面对如此庞大的数据量，主流索引器协议不仅支持多链索引，还针对不同应用的数据需求，定制了数据解析框架。例如，The Graph 的「子图」（Subgraph）框架就是一个典型案例。
索引器的出现大大提升了数据的索引和查询效率。与传统的 RPC 端点相比，索引器可以高效地索引大量数据，并支持高速查询。这些索引器允许用户执行复杂的查询，轻松过滤数据，并在提取后进行分析。此外，一些索引器还支持聚合来自多个区块链的数据源，避免在多链 dApp 中需要部署多个 API 的问题。通过在多个节点上分布式运行，索引器不仅提供了更强的安全性和性能，也减少了集中式 RPC 提供商可能带来的中断和停机风险。
相比之下，索引器通过预先定义的查询语言，使得用户可以在无需处理底层复杂数据的情况下，直接获取所需信息。这种机制显著提高了数据检索的效率和可靠性，是区块链数据访问的重要创新。
2.4 全链数据库：向流优先对齐
使用索引节点查询数据通常意味着 API 成为消化链上数据唯一门户。然而，当一个项目进入扩展阶段时，往往需要更灵活的数据源，而这是标准化的 API 无法提供的。随着应用需求的复杂化，初级数据索引器与其标准化的索引格式逐渐难以满足越来越多样化的查询需求，例如搜索、跨链访问或链下数据映射。
: c$ R# `+ T: g- j( _( I( {

作者: 22301 时间: 2024-9-18 08:47
这个数据库可以去了解下看看了。

作者: 朱古力 时间: 2024-9-18 09:11
这样的理论还是必须多多看看一下。

作者: 不要脸最大 时间: 2024-9-18 09:12
理论也许看起来很厉害，或许我还是不行

作者: 星星知我心 时间: 2024-9-18 09:13
现在感觉这个NFT就是非常的佳品的，听说还价值不菲一个。

作者: 小夏Sherry 时间: 2024-9-18 09:13
老哥的理论打法还是很好啊，来收藏下了解下了

作者: 老龙口 时间: 2024-9-18 09:14
你的理论打法也是有在记录中的呀?

作者: lvaeyou 时间: 2024-9-18 09:15
这个理论或许是大家实践的成果。

作者: 强强强123 时间: 2024-9-18 09:16
免费的东西胜利的赚到钱了的确是开心的事情

作者: hong29 时间: 2024-9-18 09:17
理论看看一下，必须都是不会吃亏的。

作者: 林武风 时间: 2024-9-18 09:20
免费的东西，游戏就像大白菜，真的是白拿

作者: 心随你动 时间: 2024-9-18 09:22
NFT和元宇宙其实就是一脉相连的东西，有了NFT就有元宇宙这就是将来。

作者: 越前龙马 时间: 2024-9-18 09:24
我也没有参与这NFT方面的事情，知识贫乏呀

作者: 不洗脸都帅 时间: 2024-9-18 09:24
基本理论也是要学学的了啊

作者: anzizhong 时间: 2024-9-18 09:27
地球上还有免费的东西，这真的很难遇见了。

作者: 中大奖 时间: 2024-9-18 09:28
这个理论打法是需要向这个老哥多学习一下的。

作者: stareshiny 时间: 2024-9-18 09:31
我的收获的功劳都是楼主像这样的理论分享。

作者: 丁小荷 时间: 2024-9-18 09:31
如果什么事情都能用NFT的话，是不是就越来越平易？

作者: 一路顺风 时间: 2024-9-18 09:34
你估计也是一个理论很内行的玩家，感激老哥的分享。

作者: jslinen 时间: 2024-9-18 09:34
这个理论打法说起来是绝对有效的，我也来收藏

作者: leconer 时间: 2024-9-18 09:34
学习理论再加上自己才能变得更棒！

作者: drogan 时间: 2024-9-18 09:34
今天的这个福气也还是非常的不错了,能得到免费游戏太有运气了。

作者: 想要水果机 时间: 2024-9-18 09:34
免费事情，东西非常难得您实在太有福气了。

作者: 百战 时间: 2024-9-18 09:39
得到了免费游戏实在太有幸了，有幸就在你身边掌握，掌管好吧。

作者: 护国石柱 时间: 2024-9-18 09:40
免费送的游戏你都能够获取，真的太有幸了。

作者: 一帆风顺发 时间: 2024-9-18 09:40
感谢老哥的理论分享，还是可以学习到很多的。

作者: gkfbuw 时间: 2024-9-18 09:45
得到免费筹码真的太幸福了，时间上最有幸的发生就是能有免费的东西。

作者: wuzhaoshichao 时间: 2024-9-18 09:45
NFT怎样应该怎么玩的好，或许还是需要知识吧。

作者: 我的花园 时间: 2024-9-18 09:47
这个运气说起来确实是相当的不错了，免费的游戏发生在你身上

作者: yumi666 时间: 2024-9-18 09:49
老哥的理论打法不错的呀，赢钱了应该是打法对你有用哦~来学习下了解下了

作者: xiaoyi 时间: 2024-9-18 09:49
具体的理论打法还得让老哥来解答啊

作者: 大吉大利 时间: 2024-9-18 09:49
NFT被你搞得太有意思了，我都没有这个有空去理解。

作者: 赌神归来 时间: 2024-9-18 09:51
NFT是现在年轻人的玩意儿啊，有什么新的东西NFT肯定也有了。

作者: linxiaoshan888 时间: 2024-9-18 09:52
玩到免费游戏这实在是非常难得。

作者: 知行合一 时间: 2024-9-18 09:52
老哥的理论打法，玩起上来确实能控制振幅

作者: 徐子 时间: 2024-9-18 09:54
理论实践得好，收米的时机就来了。

作者: 万家灯火 时间: 2024-9-18 09:59
有了NFT越来越便利，这样就会达成共识

作者: 南相楚 时间: 2024-9-18 10:00
我现在还是研究一下理论打法，谢谢楼主的分享，我也来收藏

作者: 不傻不成气候 时间: 2024-9-18 10:01
NFT这个高级品看着还是很佳品，可是我却没有这个NFT。

作者: bishao 时间: 2024-9-18 10:03
这样的理论打法是十分科学好有道理哦，我也来收藏

作者: ouliangzhong 时间: 2024-9-18 10:06
NFT原来还可以这么投资，我真的都跟不上时代了

作者: 德罗星 时间: 2024-9-18 10:08
肯定是看看情况才好的啊。

作者: 老衲来了 时间: 2024-9-18 10:09
理论整体毛病不大，重点掌控的好了

作者: 如梦的生活 时间: 2024-9-18 21:08
这个数据库也是关注一下啦

作者: rainwang 时间: 2024-9-18 22:49
对普通人来说，哪里管它是繁琐还是简

作者: 舞出精彩 时间: 2024-9-19 09:17
数据索引的还是要在看明白啊

作者: 赚钱小样 时间: 2024-9-21 14:23
关这个数据的信息的也是了解一下

作者: 爱美的女人 时间: 2024-9-21 20:44
区块链节点还是都没有弄懂啊

作者: yubuluowang 时间: 2024-9-22 21:52
这方面还是要多了解点的

欢迎光临优惠论坛 (https://tcelue.cc/)