虚拟化容器,大数据,DBA,中间件,监控。
06 11月
ElasticSearch——倒排索引和正向索引

ElasticSearch——倒排索引和正向索引1、正向索引正向索引 (forward index 以文档的ID为关键字,表中记录文档中每个字的位置信息,查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档这种组织方法在建立索引的时候结构比较...

作者:admin|分类:大数据|浏览:701
06 11月
kafka rebalance 总结说明图

用kafka的第一件事儿就得了解kafka的重平衡,即kafka的rebalance,这个很重要,不然这个kafka就会使不好的,出问题了,就理解不了,得了解一下什么是rebalance,能干啥,为啥要rebalance,rebalance的缺点和影响。...

作者:admin|分类:大数据|浏览:751
06 11月
centos7安装hadoop集群(亲测可用)

环境准备1、hadoop集群hosthostname192.168.46.22master192.168.46.23slave1192.168.46.24slave22、软件版本 centos7:CentOS-7-x86_64-DVD-1708.iso 下...

作者:admin|分类:大数据|浏览:793
06 11月
Spark2.4.8集成并读写hive表数据

Spark2.4.8集成并读写hive表数据1. 本地模式配置2. **远程模式**一、Hive简介二、Hive安装三、Hive的本地模式和远程模式配置四、创建Hive表五、SparkSQL集成Hive一、Hive简介Apache Hive™数据仓库软件通...

作者:admin|分类:大数据|浏览:601
06 11月
kafka3.0集群搭建过程

1.环境说明服务器资源规划如下表:IPhostname部署资源192.168.162.201m162p201zookeeper,kafka192.168.162.202m162p202zookeeper,kafka192.168.162.203m162p2...

作者:admin|分类:大数据|浏览:662
06 11月
《kafka问答100例 -7》如果Topic删除过程中有某台Broker宕机,删除流程会正常进行吗 ? |文末送书

《Kafka运维管控平台》 ️更强大的管控能力️ 更高效的问题定位能力 更便捷的集群运维能力 更专业的资源治理 更友好的运维生态 相关...

作者:admin|分类:大数据|浏览:696
06 11月
Hive 数据迁移与备份

迁移类型同时迁移表及其数据(使用import和export)分步迁移表和数据迁移表(show create table <tab_name>)迁移数据关联表和数据(msck repair)迁移步骤将表和数据从 Hive 导出到 HDFS将表和数...

作者:admin|分类:大数据|浏览:644
06 11月
记一次Kafka消费者频繁分区再均衡bug解决

项目背景:两个Kafka消费者群组,消费同样的主题,一个消费者群组消费数据后,发给mqtt服务,供其他应用接收;另一个消费者群组消费数据后,存入mysql数据库。问题描述:提示:这里描述项目中遇到的问题: 在项目中使用Kafka消费者消费数据,并配置了分区...

作者:admin|分类:大数据|浏览:994
06 11月
Hadoop3.X分布式高可用集群部署

一、部署规划1.1 版本说明软件版本操作系统CentOS Linux release 7.8.2003 (Core hadoophadoop-3.2.2JAVAjdk-8u271-linux-x641.2 集群规划hostnameIP组件master172...

作者:admin|分类:大数据|浏览:732
04 11月
Linux中的tomcat应用占用CPU过高解决方法。

Linux中的tomcat应用占用CPU过高解决方法。最近新上了个java应用,部署到服务器上之后发现运行一段时间之后服务器cpu的占用率会很高。排查了一遍之后,发现网上这篇文章的思路可以解决我遇到的问题,遂转载过来留存。以我们最近出现的一个实际故障为例,...

作者:admin|分类:系统运维|浏览:720