项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，...

Hadoop调优方式一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中...

目录Hive 简介 什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2、...

目录Hive的下载 Hive的安装 1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。 2、上传Hive安装包 3、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-...

目录概述 一、存储Hive版本的元数据表（VERSION） 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_...

目录一、CLI连接 二、HiveServer2/beeline 1、修改 hadoop 集群的 hdfs-site.xml 配置文件 2、修改 hadoop 集群的 core-site.xml 配置文件 三、Web UI 正文回到顶部一、CLI连接进入...

目录一、安装DbVisualizer 二、配置DbVisualizer里的hive jdbc 1、在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹 2、拷贝Hadoop的相关jar包放入新建的hive文件夹里面 3、拷贝Hive的...

主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io...

其实Hive的安装配置应该放在第二章来介绍，晚了些，希望对Hive初学者有用。三、Hive的安装配置3.1 环境需求Hadoop Client Mysql3.2 下载并解压Hive0.13.1安装包下载地址：http://archive.apache.or...

版本：0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <prope...