虚拟化容器,大数据,DBA,中间件,监控。
15 11月
搭建Spark所遇过的坑

一.经验1.Spark Streaming包含三种计算模式:nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务,不用拷贝整个架...

作者:admin|分类:大数据|浏览:636
15 11月
HBase学习之路 (一)HBase基础介绍

目录产生背景 HBase简介 关系型数据库 和 非关系型数据库的典型代表 HBase 这个 NoSQL 数据库的要点 结构化、半结构化和非结构化 HBase 中的表特点 HBase表结构逻辑视图 名词概念 正文回到顶部产生背景自 1970 年...

作者:admin|分类:大数据|浏览:576
15 11月
HBase学习之路 (二)HBase集群安装

目录前提 版本选择 JDK的选择 Hadoop的选择 安装 1、zookeeper的安装 2、Hadoopd的安装 3、下载安装包 4、上传服务器并解压缩到指定目录 5、修改配置文件 6、将HBase安装包分发到其他节点 7、 同步时间...

作者:admin|分类:大数据|浏览:660
15 11月
HBase学习之路 (三)HBase集群Shell操作

目录进入HBase命令行 HBase表的操作 创建create 查看表列表list 查看表的详细信息desc 修改表的定义alter HBase表中数据的操作 增put 查get + scan 删delete 正文回到顶部进入HBase命令行...

作者:admin|分类:大数据|浏览:639
15 11月
HBase学习之路 (四)HBase的API操作

目录Eclipse环境搭建 HBase API操作表和数据 正文回到顶部Eclipse环境搭建具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html回到顶部HBase API操作表和...

作者:admin|分类:大数据|浏览:587
15 11月
HBase学习之路 (五)MapReduce操作Hbase

目录MapReduce从HDFS读取数据存储到HBase中 MapReduce从HBase读取数据计算平均年龄并存储到HDFS中 正文回到顶部MapReduce从HDFS读取数据存储到HBase中现有HDFS中有一个student.txt文件,格式如下95...

作者:admin|分类:大数据|浏览:553
15 11月
HBase学习之路 (六)过滤器

目录过滤器(Filter) HBase过滤器的分类 比较过滤器 专用过滤器 正文回到顶部过滤器(Filter) 基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本...

作者:admin|分类:大数据|浏览:545
15 11月
HBase学习之路 (七)HBase 原理

目录系统架构 物理存储 整体的物理结构 StoreFile 和 HFile 结构 MemStore 和 StoreFile Hbase WAL HLog预写 Region 寻址机制 老的 Region 寻址方式 新的 Region 寻址方式 读...

作者:admin|分类:大数据|浏览:573
15 11月
HBase学习之路 (八)HBase大牛博客

主要是记录一下链接http://hbasefly.com...

作者:admin|分类:大数据|浏览:639
15 11月
HBase学习之路 (九)HBase phoenix的使用

目录HBase phoenix的下载 正文回到顶部HBase phoenix的下载下载地址http://mirror.bit.edu.cn/apache/phoenix/选择对应的hbase版本进行下载,测试使用的是hbase-1.2.6版本 ......

作者:admin|分类:大数据|浏览:525