1.背景 Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Apache Kylin官网：http://kylin.apache.org/
Kylin的官网上每个版本的都提供两个包一个for HBase的一个for CDH的，根据自己的环境选择下载对应的kylin的安装包，否则后面会报各种各样的错误。
K...
yarn 非ha的时候是没问题的 在HA模式下，发现报错，信息如下：
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found
yarn.client.failover-proxy-provider=org.apa...
https://www.cnblogs.com/yongjian/p/10110119.html
https://blog.51cto.com/xiaolanlan/2082991
...
HUE简介 Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。
由于工作需要，最近研究了一下hue的安装配置、...
Hbase表两种数据备份方法-导入和导出示例
本文将提供两种备份方法 ——
1) 基于Hbase提供的类对hbase中某张表进行备份
2) 基于Hbase snapshot数据快速备份方法
场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。
一、基于hbase提供的类对hbase中某张表进行备份
本文使用hbase提供的类把hbase中某张表的数据导出hdfs，之后再导出...
安装flume：
压缩包下载地址：点击打开链接
[hadoop@h71 ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz 修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 [hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ cp conf/flume-env.sh.template conf/flume-env.sh [hadoop@h71 apache-flume-...
导读：作者在上一篇文章中：https://cloud.tencent.com/developer/article/1025430《Flume-Hbase-Sink针对不同版本flume与HBase的适配研究与经验总结》，详细描述了两大类HBaseSinks：org.apache.flume.sink.hbase.HBaseSink（简称HBaseSink），以及org.apache.flume.sink.hbase.AsyncHBaseSink（简称AsyncHBaseSin...
目录
一、背景
二、Flume的简介
三、Flume NG的介绍
3.1 Flume特点
3.2 Flume的一些核心概念
3.3 Flume NG的体系结构
3.4 Source
3.5 Channel
3.6 Sink
四、Flume的部署类型
4.1 单一流程
4.2 多代理流程（多个agent顺序连接）
4.3 流的合并（多个Agent的数据汇聚到同一个Agent ）...
目录
一、概述
二、Flume Sources 描述
2.1 Avro Source
2.2 Thrift Source
2.3 Exec Source
2.4 JMS Source
2.5 Spooling Directory Source
2.6 其他
正文
回到顶部
一、概述
官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#...
一、Avro Source与Thrift Source
Avro端口监听并接收来自外部的Avro客户流的事件。当内置Avro 去Sinks另一个配对Flume代理，它就可以创建分层采集的拓扑结构。官网说的比较绕，当然我的翻译也很弱，其实就是flume可以多级代理，然后代理与代理之间用Avro去连接
下面是官网给出的source的配置，加粗的参数是必选，描述就不解释了。
Property Name
Default
Descripti...
