虚拟化容器,大数据,DBA,中间件,监控。
15 11月
Hadoop的三种作业调度原理汇总

Hadoop调优方式一个MapRedcue作业是通过JobClient向master的JobTracker提交的(JobTracker一直在等待JobClient通过RPC协议提交作业),JobTracker接到JobClient的请求后把其加入作业队列中...

作者:admin|分类:大数据|浏览:669
15 11月
Hive学习之路 (一)Hive初识

目录Hive 简介 什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2、...

作者:admin|分类:大数据|浏览:743
15 11月
Hive学习之路 (二)Hive安装

目录Hive的下载 Hive的安装 1、本人使用MySQL做为Hive的元数据库,所以先安装MySQL。 2、上传Hive安装包 3、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包(mysql-connector-java-...

作者:admin|分类:大数据|浏览:651
15 11月
Hive学习之路 (三)Hive元数据信息对应MySQL数据库表

目录概述 一、存储Hive版本的元数据表(VERSION) 二、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS) 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_...

作者:admin|分类:大数据|浏览:617
15 11月
Hive学习之路 (四)Hive的连接3种连接方式

目录一、CLI连接 二、HiveServer2/beeline 1、修改 hadoop 集群的 hdfs-site.xml 配置文件 2、修改 hadoop 集群的 core-site.xml 配置文件 三、Web UI 正文回到顶部一、CLI连接进入...

作者:admin|分类:大数据|浏览:557
15 11月
Hive学习之路 (五)DbVisualizer配置连接hive

目录一、安装DbVisualizer 二、配置DbVisualizer里的hive jdbc 1、在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹 2、拷贝Hadoop的相关jar包放入新建的hive文件夹里面 3、拷贝Hive的...

作者:admin|分类:大数据|浏览:707
15 11月
prometheus+grafana 监控hadoop、yarn

主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集,通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io...

作者:admin|分类:大数据|浏览:1040
15 11月
[一起学Hive]之四-Hive的安装配置

其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。三、Hive的安装配置3.1 环境需求Hadoop Client Mysql3.2 下载并解压Hive0.13.1安装包下载地址:http://archive.apache.or...

作者:admin|分类:大数据|浏览:667
15 11月
HBase参数配置及说明

版本:0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <prope...

作者:admin|分类:大数据|浏览:620
15 11月
Kafka安装配置测试

Kafka的整体架构:本文中的配置:在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apache.org/down...

作者:admin|分类:大数据|浏览:739