目录
Hive 简介
什么是Hive
为什么使用 Hive
Hive 特点
Hive 和 RDBMS 的对比
Hive的架构
1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface
2、跨语言服务 ： thrift server 提供了一种能力，让用户可以使用多种不同的语言来操纵hive
3、底层的Driver： 驱动器Driver，编译器Co...
目录
Hive的下载
Hive的安装
1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。
2、上传Hive安装包
3、解压安装包
4、修改配置文件
5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 hive 的根路径下的 lib 目录
6、 安装完成，配置环境变量
7、 验证 Hive 安装
8、 初始化元数据...
目录
概述
一、存储Hive版本的元数据表（VERSION）
二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）
1、DBS
2、DATABASE_PARAMS
三、Hive表和视图相关的元数据表
1、TBLS
2、TABLE_PARAMS
3、TBL_PRIVS
四、Hive文件存储信息相关的元数据表
1、SDS
2、SD_PARAMS...
目录
一、CLI连接
二、HiveServer2/beeline
1、修改 hadoop 集群的 hdfs-site.xml 配置文件
2、修改 hadoop 集群的 core-site.xml 配置文件
三、Web UI
正文
回到顶部
一、CLI连接
进入到 bin 目录下，直接输入命令：
[hadoop@hadoop3 ~]$ hive SLF4J: Class path contains...
目录
一、安装DbVisualizer
二、配置DbVisualizer里的hive jdbc
1、在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹
2、拷贝Hadoop的相关jar包放入新建的hive文件夹里面
3、拷贝Hive的相关jar包放入新建的hive文件夹里面
4、结果
5、在tools/Driver manager中进行配置
6、在Tool--Driver manager中进行配置...
主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。 1、安装jmx_exporter以及配置文件
1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar
下载jmx exporter包
2、创建配置文件...
其实Hive的安装配置应该放在第二章来介绍，晚了些，希望对Hive初学者有用。
三、Hive的安装配置
3.1 环境需求
Hadoop Client
Mysql
3.2 下载并解压Hive0.13.1安装包
下载地址：http://archive.apache.org/dist/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
cp apache-hive-0.13.1-bin.tar.gz /usr/local...
版本：0.94-cdh4.2.1
hbase-site.xml配置
hbase.tmp.dir
本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的
线上配置
<property> <name>hbase.tmp.dir</name> &nb...
Kafka的整体架构：
本文中的配置：
在两台机器Node1和Node2上，分别部署了两个broker，Zookeeper使用的是单独的ZK集群。
在每个机器上下载并解压kafka_2.10-0.8.2.1
http://kafka.apache.org/downloads.html
Kafka配置
Node1:
ip为 172.16.212.17
cd $KAFKA_HOME/config
cp server.properti...
版本信息：
python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2
其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错，
[root@localhost ~]# python2 create_use...