Hbase表两种数据备份方法-导入和导出示例
本文将提供两种备份方法 ——
1) 基于Hbase提供的类对hbase中某张表进行备份
2) 基于Hbase snapshot数据快速备份方法
场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。
一、基于hbase提供的类对hbase中某张表进行备份
本文使用hbase提供的类把hbase中某张表的数据导出hdfs，之后再导出...
安装flume：
压缩包下载地址：点击打开链接
[hadoop@h71 ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz 修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 [hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ cp conf/flume-env.sh.template conf/flume-env.sh [hadoop@h71 apache-flume-...
导读：作者在上一篇文章中：https://cloud.tencent.com/developer/article/1025430《Flume-Hbase-Sink针对不同版本flume与HBase的适配研究与经验总结》，详细描述了两大类HBaseSinks：org.apache.flume.sink.hbase.HBaseSink（简称HBaseSink），以及org.apache.flume.sink.hbase.AsyncHBaseSink（简称AsyncHBaseSin...
目录
一、背景
二、Flume的简介
三、Flume NG的介绍
3.1 Flume特点
3.2 Flume的一些核心概念
3.3 Flume NG的体系结构
3.4 Source
3.5 Channel
3.6 Sink
四、Flume的部署类型
4.1 单一流程
4.2 多代理流程（多个agent顺序连接）
4.3 流的合并（多个Agent的数据汇聚到同一个Agent ）...
目录
一、概述
二、Flume Sources 描述
2.1 Avro Source
2.2 Thrift Source
2.3 Exec Source
2.4 JMS Source
2.5 Spooling Directory Source
2.6 其他
正文
回到顶部
一、概述
官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#...
一、Avro Source与Thrift Source
Avro端口监听并接收来自外部的Avro客户流的事件。当内置Avro 去Sinks另一个配对Flume代理，它就可以创建分层采集的拓扑结构。官网说的比较绕，当然我的翻译也很弱，其实就是flume可以多级代理，然后代理与代理之间用Avro去连接
下面是官网给出的source的配置，加粗的参数是必选，描述就不解释了。
Property Name
Default
Descripti...
目录
一、单一代理流配置
1.1 官网介绍
1.2 测试示例（一）
1.3 测试案例（二）
二、单代理多流配置
2.1 官方案例
三、配置多代理流程
3.1 官方案例
3.2 测试案例
四、多路复用流
4.1 官方案例
4.2 测试案例（一）复制
4.3 测试案例（二）复用
正文
回到顶部
一、单一代理流配置
1.1 官网介绍...
使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。
Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#monitoring 通过Reporting的方式，把过程中的Counter都打印...
一.经验
1.Spark Streaming包含三种计算模式：nonstate .stateful .window
2.kafka可通过配置文件使用自带的zookeeper集群
3.Spark一切操作归根结底是对RDD的操作
4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。
5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁盘容量限制
6.ES的分片类似kafka的...
目录
产生背景
HBase简介
关系型数据库 和 非关系型数据库的典型代表
HBase 这个 NoSQL 数据库的要点
结构化、半结构化和非结构化
HBase 中的表特点
HBase表结构逻辑视图
名词概念
正文
回到顶部
产生背景
自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始...