目录
一、单一代理流配置
1.1 官网介绍
1.2 测试示例（一）
1.3 测试案例（二）
二、单代理多流配置
2.1 官方案例
三、配置多代理流程
3.1 官方案例
3.2 测试案例
四、多路复用流
4.1 官方案例
4.2 测试案例（一）复制
4.3 测试案例（二）复用
正文
回到顶部
一、单一代理流配置
1.1 官网介绍...
使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。
Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#monitoring 通过Reporting的方式，把过程中的Counter都打印...
一.经验
1.Spark Streaming包含三种计算模式：nonstate .stateful .window
2.kafka可通过配置文件使用自带的zookeeper集群
3.Spark一切操作归根结底是对RDD的操作
4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。
5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁盘容量限制
6.ES的分片类似kafka的...
目录
产生背景
HBase简介
关系型数据库 和 非关系型数据库的典型代表
HBase 这个 NoSQL 数据库的要点
结构化、半结构化和非结构化
HBase 中的表特点
HBase表结构逻辑视图
名词概念
正文
回到顶部
产生背景
自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始...
目录
前提
版本选择
JDK的选择
Hadoop的选择
安装
1、zookeeper的安装
2、Hadoopd的安装
3、下载安装包
4、上传服务器并解压缩到指定目录
5、修改配置文件
6、将HBase安装包分发到其他节点
7、 同步时间
8、配置环境变量
启动HBase集群
1、启动zookeeper集群
2、启动HDFS集群及YARN集群
3、启动...
目录
进入HBase命令行
HBase表的操作
创建create
查看表列表list
查看表的详细信息desc
修改表的定义alter
HBase表中数据的操作
增put
查get + scan
删delete
正文
回到顶部
进入HBase命令行
在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客 户端
[ha...
目录
Eclipse环境搭建
HBase API操作表和数据
正文
回到顶部
Eclipse环境搭建
具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html
回到顶部
HBase API操作表和数据
1 import java.io.IOException;
2 import java.util.Date;
3
4 import org.ap...
目录
MapReduce从HDFS读取数据存储到HBase中
MapReduce从HBase读取数据计算平均年龄并存储到HDFS中
正文
回到顶部
MapReduce从HDFS读取数据存储到HBase中
现有HDFS中有一个student.txt文件，格式如下
95002,刘晨,女,19,IS
95017,王风娟,女,18,IS
95018,王一,女,19,IS
95013,冯伟,男,21,CS
95014,王小丽,女,19,CS
95...
目录
过滤器（Filter）
HBase过滤器的分类
比较过滤器
专用过滤器
正文
回到顶部
过滤器（Filter）
基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。带有Filter条件...
目录
系统架构
物理存储
整体的物理结构
StoreFile 和 HFile 结构
MemStore 和 StoreFile
Hbase WAL HLog预写
Region 寻址机制
老的 Region 寻址方式
新的 Region 寻址方式
读写过程
读请求过程
写请求过程
RegionServer 工作机制
Reg...