一、R安装
如果未安装R，可以先安装R，用于支持SparkR，如果yum源中没有R语言的安装包，可以从官网下载相应版本进行手动编译安装。
sudo yum install R
1
安装rJava 下载地址： https://cran.r-project.org/web/packages/rJava/index.html 将下载好的软件包上传至/data/soft目录下 执行以下代码：
sudo R CMD INSTALL...
一、flume配置
flume要求1.6以上版本
flume-conf.properties文件配置内容，sinks的输出作为kafka的product
[html]
view plain
copy
a1.sources = r1
a1.sinks = k1
a1....
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：
现将调试过程中遇到的问题以及解决方法记录如下：
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuff...
Hadoop调优方式
一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。
Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有则让其派发任务过来，TaskTracker在其本地发起Task,执行任...
目录
Hive 简介
什么是Hive
为什么使用 Hive
Hive 特点
Hive 和 RDBMS 的对比
Hive的架构
1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface
2、跨语言服务 ： thrift server 提供了一种能力，让用户可以使用多种不同的语言来操纵hive
3、底层的Driver： 驱动器Driver，编译器Co...
目录
Hive的下载
Hive的安装
1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。
2、上传Hive安装包
3、解压安装包
4、修改配置文件
5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 hive 的根路径下的 lib 目录
6、 安装完成，配置环境变量
7、 验证 Hive 安装
8、 初始化元数据...
目录
概述
一、存储Hive版本的元数据表（VERSION）
二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）
1、DBS
2、DATABASE_PARAMS
三、Hive表和视图相关的元数据表
1、TBLS
2、TABLE_PARAMS
3、TBL_PRIVS
四、Hive文件存储信息相关的元数据表
1、SDS
2、SD_PARAMS...
目录
一、CLI连接
二、HiveServer2/beeline
1、修改 hadoop 集群的 hdfs-site.xml 配置文件
2、修改 hadoop 集群的 core-site.xml 配置文件
三、Web UI
正文
回到顶部
一、CLI连接
进入到 bin 目录下，直接输入命令：
[hadoop@hadoop3 ~]$ hive SLF4J: Class path contains...
目录
一、安装DbVisualizer
二、配置DbVisualizer里的hive jdbc
1、在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹
2、拷贝Hadoop的相关jar包放入新建的hive文件夹里面
3、拷贝Hive的相关jar包放入新建的hive文件夹里面
4、结果
5、在tools/Driver manager中进行配置
6、在Tool--Driver manager中进行配置...
主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。 1、安装jmx_exporter以及配置文件
1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar
下载jmx exporter包
2、创建配置文件...