千锋教育-中国IT职业教育良心品牌，成立教研中心，推出贴近企业需求的线上线下技能培训课程。千锋教育大数据＋Python人工智能六维全息课程：秉承从理论到实践，从应用到原理，从细节上学习掌握大数据分布式系统下所使用到的存储、计算、调度、资源管理等不同方面，另外从应用场景离线、实时、交互查询等方面，结合企业中不同行业、核心业务开发的有针对性的项目实战，如数据治理，离线、实时数仓，离线、实时数据同步、知识图谱，元数据管理与血缘构建，数据质量、NewSQL等核心模块，从深度和广度上构建完善的知识体系，在学习思维和经验能力上达到架构级别。

　　众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。

　　在 HBase 中无论是增加新行还是修改已有的行，其内部流程都是相同的。HBase 接到命令后存下变化信息，或者写入失败抛出异常。默认情况下，执行写入时会写到两个地方：预写式日志（write-ahead log，也称 HLog）和 MemStore。HBase 的默认方式是把写入动作记录在这两个地方，以增加数据持久化。只有当这两个地方的变化信息都写入并确认后，才认为写动作完成。

　　MemStore 是内存里的写入缓冲区，HBase 中数据在写入硬盘之前在这里累积。当MemStore 填满后，其中的数据会刷写到硬盘，生成一个HFile。HFile 是HBase 使用的底层存储格式。HFile 对应于列族，一个列族可以有多个 HFile，但一个 HFile 不能存储多个列族的数据。在集群的每个节点上，每个列族有一个MemStore。

　　大型分布式系统中硬件故障很常见，HBase 也不例外。设想一下，如果MemStore 还没有刷写，服务器就崩溃了，内存中没有写入硬盘的数据就会丢失。HBase 的应对办法是在写动作完成之前先写入WAL。HBase 集群中每台服务器维护一个 WAL 来记录发生的变化。WAL 是底层文件系统上的一个文件。直到WAL 新记录成功写入后，写动作才被认为成功完成。这可以增加 HBase 和支撑它的文件系统满足持久性。大多数情况下，HBase 使用 Hadoop 分布式文件系统（HDFS）来作为底层文件系统。

　　如果 HBase 服务器宕机，没有从 MemStore 里刷写到 HFile 的数据将可以通过回放 WAL 来恢复。你不需要手工执行。Hbase 的内部机制中有恢复流程部分来处理。每台 HBase 服务器有一个 WAL，这台服务器上的所有表（和它们的列族）共享这个 WAL。

　　你可能想到，写入时跳过 WAL 应该会提升写性能。但我们不建议禁用 WAL， 除非你愿意在出问题时丢失数据。如果你想测试一下，如下代码可以禁用WAL： 注意：不写入 WAL 会在 RegionServer 故障时增加丢失数据的风险。关闭 WAL， 出现故障时 HBase 可能无法恢复数据，没有刷写到硬盘的所有写入数据都会丢失。

尊重原创文章，转载请注明出处与链接：http://www.soxsok.com/wnews749991.html 违者必究！ 以上就是关于“深圳口碑前几的大数据培训机构名单汇总盘点”的全部内容了，想了解更多相关知识请持续关注本站。