一佳互联

展开菜单

HBase学习之路 (九)HBase phoenix的使用

HBase学习之路 (九)HBase phoenix的使用
目录 HBase phoenix的下载   正文 回到顶部 HBase phoenix的下载 下载地址http://mirror.bit.edu.cn/apache/phoenix/ 选择对应的hbase版本进行下载,测试使用的是hbase-1.2.6版本  ...

HBase学习之路 (十)HBase表的设计原则

HBase学习之路 (十)HBase表的设计原则
目录 建表高级属性 1、 BLOOMFILTER 2、 VERSIONS 3、 COMPRESSION 4、 TTL 5、 alter 6、 describe/desc 7、 disable_all/enable_all 8、 drop_all 9、 hbase 预分区 表设计 1、列簇设计 2、RowKey 设计 Rowkey 设计三原则  1、...

HBase学习之路 (十一)HBase的协过滤器

HBase学习之路 (十一)HBase的协过滤器
目录 协处理器—Coprocessor 1、 起源 2、介绍 3、总结 协处理加载方式 1、 静态加载 2、 动态加载 3、 协处理器卸载 案例(二级索引)   正文 回到顶部 协处理器—Coprocessor 1、 起源   Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执 行求和、计数、排序等操作。比如,在旧版本的(<...

Kafka学习之路 (一)Kafka的简介

Kafka学习之路 (一)Kafka的简介
目录 一、简介 1.1 概述 1.2 消息系统介绍 1.3 点对点消息传递模式 1.4 发布-订阅消息传递模式 二、Kafka的优点 2.1 解耦 2.2 冗余(副本) 2.3 扩展性 2.4 灵活性&峰值处理能力 2.5 可恢复性 2.6 顺序保证 2.7 缓冲 2.8 异步通信 三、常用Message Queue对比 3.1 RabbitMQ...

Kafka学习之路 (二)Kafka的架构

Kafka学习之路 (二)Kafka的架构
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee   正文 回到顶部 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafk...

kafka 配置优化

kafka 配置优化
因此Kafka提供两种策略删除旧数据。一是基于时间,二是基于Partition文件大小。例如可以通过配置$KAFKA_HOME/config/server.properties,让Kafka删除一周前的数据,也可在Partition文件超过1GB时删除旧数据,配置如下所示: # The minimum age of a log file to be eligible for deletion log.retention.hours=168 # The maximum siz...

Kafka学习之路 (三)Kafka的高可用

Kafka学习之路 (三)Kafka的高可用
目录 一、高可用的由来 1.1 为何需要Replication 1.2 Leader Election 二、Kafka HA设计解析 2.1 如何将所有Replica均匀分布到整个集群 2.2 Data Replication(副本策略) 三、HA相关ZooKeeper结构 3.1 admin 3.2 broker 3.3 controller 四、producer发布消息...

Kafka学习之路 (四)Kafka的安装

Kafka学习之路 (四)Kafka的安装
目录 一、下载 二、安装前提(zookeeper安装) 三、安装 2.1 上传解压缩 2.2 修改配置文件 2.3 将kafka的安装包分发到其他节点 2.4 创建软连接 2.5 修改环境变量 三、启动 3.1 首先启动zookeeper集群 3.2 启动Kafka集群服务 3.3 创建的topic 3.4 查看topic副本信息 3.5 查看已经创建的topic信息 3.6 ...

Kafka学习之路 (五)Kafka在zookeeper中的存储

Kafka学习之路 (五)Kafka在zookeeper中的存储
目录 一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 2.2 partition状态信息 2.3 Broker注册信息 2.4 Controller epoch 2.5 Controller注册信息 2.6 补充Consumer and Consumer group 2.7 Consumer均衡算法 2.8 Consumer注册信息 2.9 Consumer owner...