hbase 数据丢失

importhbaseinto数据出了问题怎么办？我用的是hbaseorg . Apache . Hadoop .hbase. MapReduce . importtsvdimporttsv . columnshbase _ row _ key。然后重新启动hbase错误就会消失。

上图是RegionServer 数据的存储关系图。如上所述，HBase使用MemStore和StoreFile来存储对表的更新。数据更新时先写HLog和MemStore。数据 in MemStore已排序。当MemStore累积到一定阈值时，会创建一个新的MemStore，旧的MemStore会被添加到Flush队列中，由单独的线程刷新到磁盘，成为StoreFile。

当系统出现意外时，可能会导致MemStore中的数据 丢失。此时使用HLog在检查点后恢复数据。StoreFile是只读的，一旦创建就不能修改。所以Hbase的更新实际上是一个增量操作。当一个存储中的StoreFile达到一定的阈值时，就会进行合并操作，对同一个键的修改会合并在一起，形成一个大的Storefile。

1前言hbase是从hadoop中分离出来的apache顶级开源项目。因为它用java实现了google的bigtable系统的大部分特性，所以在数据迅速增加的今天非常受欢迎。对于淘宝来说，随着市场规模的扩大，产品和技术的发展，业务量数据越来越大，海量数据的高效插入和阅读变得越来越重要。因为淘宝拥有或许是国内最大的单个hadoop集群(天梯)，对hadoop系列产品有很深的了解，自然希望用hbase来做这么海量的数据读写服务。

2为什么要用hbase？2011年之前，淘宝所有的后台持久化存储基本都是在mysql上进行的(不排除少量的Oracle/BDB/Tail/MongDB等。).mysql因为开源和良好的生态系统，有子数据库、子表等多种解决方案，所以长期以来满足了淘宝大量商家的需求。但是，由于业务的多元化发展，越来越多的业务系统的要求开始发生变化。

HBase是一个分布式、面向列的开源数据 library，基于Hadoop生态系统，在当今蓬勃发展的NoSQL，被国内外多家公司选用，应用于现代互联网系统的不同业务。h基本业务场景1。tag 数据的存储tag 数据是稀疏矩阵的代表，描述了实体的各种属性，主要用于智能推荐、商业智能或营销引擎。2.车联网的采集车联网系统数据利用车载设备采集车辆运行过程中产生的物品数据，通过网络实时上传，并在平台上进行动态分析利用。

当数据 center遇到自然灾害和外部攻击时，它必须确保这些信息不会丢失，并且从业务角度来看，RTO尽可能短，RPO尽可能为零。HBase基于底层HDFS作为存储系统。HDFS实施三副本策略，按照一定的规则将副本放在不同的节点或机架上，具有很高的容灾能力。在工程实践中，还产生了区域副本、主备集群、互备双活等策略，尽可能地进行灾难备份，保证高可用性。

5、HBase写 数据的异常问题以及优化

本文讲的是如何诊断HBase写入异常问题数据并优化写入性能。与读取相比，HBase中写入数据的过程相当简单:数据先写入HLog，再写入对应的缓存Memstore。当数据在Memstore中的大小达到一定的阈值(128M)时，系统会将数据异步写入Memstore。HBase 数据写作通常会遇到两种问题，一种是写作表现差，一种是数据根本不会写。

WAL需要同步写吗？优化原理:数据写过程可以理解为一个顺序写WAL 一个写缓存。通常写缓存的延迟很低，所以写性能只能从WAL来提升。一方面，WAL机制是为了保证数据即使写入缓存也能恢复；另一方面，它用于集群之间的异步复制。默认的WAL机制是打开的，WAL是使用同步机制编写的。

1。对表进行预分区(即在建表时指定区域数和拆分边界)；2.拿hbase的配置来说。例如，在使用默认拆分策略的情况下，对于16个预分区区域，单个Resion容量将在达到min(32，50)时拆分，即32 50GB。

I usedhbaseorg . Apache . Hadoop .hbase. MapReduce . importtsvdimporttsv . columnshbase _ row _ key，ratings.dat: userid，ratings.dat: movieid，Ratings.dat: ratings，ratings . dat:timedimporttsv . separator::movie/movie/ratings . dat命令。

由于HBase的操作比较粗糙，有时会在Hadoop中直接删除hbase对应的表，导致条目仍然被记录在。META。，但在实际存储空间中找不到。这会导致HBase的日志出错，说找不到xxx表，日志增长很快。解决方法是删除。META。事实证明。META。和ROOT其实是hbase的两个特殊表，也就是说我们可以扫描删除。

每个表将分别对应三行记录。2 .删除相应的行，删除. META。表项与删除表中的行相同，回车:删除。meta，，行，列删除和添加三个参数，即表，行和列(如a:b)删除相应的行。然后重新启动hbase错误就会消失。