logstash读取redis缓存日志
1.logstash从redis读取收集日志原理
常规的日志收集方式都是由filebeat收集完直接输出给es集群，如果当后端应用访问量大，产生的日志也特别巨大，这时再由filebeat收集日志直接传输给es，会给es带来特别大的压力，如果es这时挂掉，filebeat依然在收集日志，这时filebeat找不到es集群，则会把收集来的日志丢弃
针对日志量大的问题可以在es集...
优化logstash读取redis缓存日志配置
紧接着配置logstash从redis读取filebeat收集的日志（上） 进一步优化
1.优化配置思路
之前的logstash读取redis收集来的日志数据配置需要很多步骤，每次新加一个日志都特别繁琐
没有优化前新增一个日志收集的配置步骤：
1.配置filebeat收集什么日志，增加标签
2.配置filebeat将日志存储到哪里
...
ELK终极架构
ELK终极架构
ELK终极架构
1.ELK终极架构图
2.部署终极ELK架构
2.2.部署两台redis
2.3.配置nginx四层负载均衡
2.4.配置keepalived高可用
2.5.挂掉redis01查看是否会切换到redis0...
prometheus使用cadvisor监控docker容器
1.cadvisor概述
一般公司会有很多docker主机，那么就需要对docker进行监控了，docker监控可以采用docker stats配合shell命令来取值做监控，但是无法传递给prometheus进行采集，zabbix监控docker又比较麻烦，因此就有了谷歌的cadvisor
cadvisor不仅可以搜集一台机器上的所有运行的容器信息，...
Prometheus+Grafana全方位监控Kubernetes集群
文章目录
Prometheus+Grafana全方位监控Kubernetes集群
1.k8s监控指标
2.k8s基础环境准备
2.1.环境准备
2.2.部署nfs作为prometheus存储...
基于kubernetes平台的CICD持续集成
文章目录
基于kubernetes平台的CICD持续集成
1.基于k8s集群的Jenkins持续集成
2.将Jenkins部署在k8s集群
2.1.编写Jenkins namespace文件
2.2.编写Jenkins...
hive的配置：
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；
hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python <script command>，null的话就是直接执行<script command>；
hi...
/
1110 次浏览/
大数据
配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件)
参数名
说明
clientPort
客户端连接server的端口，即对外服务端口，一般设置为2181吧。
dataDir
存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。
tickTime...
配置文件详解：
tickTime：基本事件单元，以毫秒为单位，这个时间作为 Zookeeper 服务器之间或客户端之间维持心跳的时间间隔
dataDir：存储内存中数据库快照的位置，顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存到这个目录里
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求
initLimit：这个配置...
$ cat conf/livy-env.sh
#!/usr/bin/env bash
SPARK_HOME=/opt/spark
HADOOP_CONF_DIR=/etc/hadoop/conf
$ cat conf/livy.conf
livy.server.session.factory = yarn
livy.spark.master = yarn-client
livy.impersonation.enabled = true
livy.repl.enable...