虚拟化容器,大数据,DBA,中间件,监控。
06 11月
记一次Kafka消费者频繁分区再均衡bug解决

项目背景:两个Kafka消费者群组,消费同样的主题,一个消费者群组消费数据后,发给mqtt服务,供其他应用接收;另一个消费者群组消费数据后,存入mysql数据库。问题描述:提示:这里描述项目中遇到的问题: 在项目中使用Kafka消费者消费数据,并配置了分区...

作者:admin|分类:大数据|浏览:1018
06 11月
Hadoop3.X分布式高可用集群部署

一、部署规划1.1 版本说明软件版本操作系统CentOS Linux release 7.8.2003 (Core hadoophadoop-3.2.2JAVAjdk-8u271-linux-x641.2 集群规划hostnameIP组件master172...

作者:admin|分类:大数据|浏览:756
04 11月
Linux中的tomcat应用占用CPU过高解决方法。

Linux中的tomcat应用占用CPU过高解决方法。最近新上了个java应用,部署到服务器上之后发现运行一段时间之后服务器cpu的占用率会很高。排查了一遍之后,发现网上这篇文章的思路可以解决我遇到的问题,遂转载过来留存。以我们最近出现的一个实际故障为例,...

作者:admin|分类:系统运维|浏览:746
26 09月
详解压测中出现的 nginx 502 no live upstreams 错误

详解压测中出现的 nginx 502 no live upstreams 错误在一次压测过程中,发现随着并发用户量的增加,压测客户端收到错误请求越来越多,Nginx 返回大量 502 Bad Gateway 错误。以此次压测为契机,让我...

作者:admin|分类:应用管理|浏览:776
26 09月
Squid3 配置高匿代理

之前简单介绍过 Squid 搭建正向代理服务器,但是这种方式搭建的代理服务器仅为普通代理,目标网站依然能检测到我们的真实ip,实际的爬虫业务中我们需要的是高匿代理,隐藏爬虫的真实ip。实现方法比较简单,只需要将如下配置加入到配置文件/etc/sq...

作者:admin|分类:应用管理|浏览:894
15 07月
Dckr (Docker+ Compose+Kubernets+Rancher)基于Docker的容器配置及编排的向导式构建工具

Dckr (Docker+ Compose+Kubernets+Rancher Dckr (Docker+ Compose+Kubernets+Rancher 基于Docker的容器配置及编排的向导式构建工具...

作者:admin|分类:容器虚拟化|浏览:815
14 07月
Hadoop3.x 作业提交全过程-尚硅谷资料

Hadoop3.x 作业提交全过程-尚硅谷资料作业提交全过程详解 (1) 作业提交 第 1 步:Client 调用 job.waitForCompletion 方法,向整个集群提交 MapReduce 作业。第 2...

作者:admin|分类:大数据|浏览:712
14 07月
Hadoop3.x DataNode工作机制-尚硅谷资料

Hadoop3.x DataNode工作机制-尚硅谷资料DN 向 NN 汇报当前解读信息的时间间隔,默认 6 小时;<property> <name>dfs.blockreport.in...

作者:admin|分类:大数据|浏览:801
07 07月
CentOS7局域网下安装离线Ambari

CentOS7局域网下安装离线Ambari 1.1 Ambari Ambari 跟 Hadoop 等开源软件一样,也是 Apache Soft...

作者:admin|分类:大数据|浏览:1122
06 07月
Centos7安装CDP/CDH7.1.1

Centos7安装CDP/CDH7.1.1安装CDP/CDH7.1.1.pdf...

作者:admin|分类:大数据|浏览:854