Prometheus+Grafana全方位监控Kubernetes集群
文章目录
Prometheus+Grafana全方位监控Kubernetes集群
1.k8s监控指标
2.k8s基础环境准备
2.1.环境准备
2.2.部署nfs作为prometheus存储...
基于kubernetes平台的CICD持续集成
文章目录
基于kubernetes平台的CICD持续集成
1.基于k8s集群的Jenkins持续集成
2.将Jenkins部署在k8s集群
2.1.编写Jenkins namespace文件
2.2.编写Jenkins...
hive的配置：
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；
hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python <script command>，null的话就是直接执行<script command>；
hi...
/
1115 次浏览/
大数据
配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件)
参数名
说明
clientPort
客户端连接server的端口，即对外服务端口，一般设置为2181吧。
dataDir
存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。
tickTime...
配置文件详解：
tickTime：基本事件单元，以毫秒为单位，这个时间作为 Zookeeper 服务器之间或客户端之间维持心跳的时间间隔
dataDir：存储内存中数据库快照的位置，顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存到这个目录里
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求
initLimit：这个配置...
$ cat conf/livy-env.sh
#!/usr/bin/env bash
SPARK_HOME=/opt/spark
HADOOP_CONF_DIR=/etc/hadoop/conf
$ cat conf/livy.conf
livy.server.session.factory = yarn
livy.spark.master = yarn-client
livy.impersonation.enabled = true
livy.repl.enable...
一、R安装
如果未安装R，可以先安装R，用于支持SparkR，如果yum源中没有R语言的安装包，可以从官网下载相应版本进行手动编译安装。
sudo yum install R
1
安装rJava 下载地址： https://cran.r-project.org/web/packages/rJava/index.html 将下载好的软件包上传至/data/soft目录下 执行以下代码：
sudo R CMD INSTALL...
一、flume配置
flume要求1.6以上版本
flume-conf.properties文件配置内容，sinks的输出作为kafka的product
[html]
view plain
copy
a1.sources = r1
a1.sinks = k1
a1....
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：
现将调试过程中遇到的问题以及解决方法记录如下：
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuff...
Hadoop调优方式
一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。
Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有则让其派发任务过来，TaskTracker在其本地发起Task,执行任...