我们最近的博客讨论了从传统平台到 CDP 私有云基础的四种途径。在本博客和随附的视频中，我们将深入探讨运行从 CDH5 或 CDH6 到 CDP 私有云基础的就地升级的机制。整体升级遵循如下所示的七个步骤。
在下面的视频中，我们将介绍从 CDH 到 CDP 私有云基础的完整的端到端升级。
步骤 1：准备升级
在继续升级之前，有必要查看文档中指定的先决条件。我们还建议执行完整的集群运行状况检查，我们的专业服务团队可以提供帮助。充分了解集群的当前状态和健康状况...
在k8s中部署elasticsearch集群
文章目录
在k8s中部署elasticsearch集群
1.部署分析
2.准备镜像并推送至Harbor仓库
3.创建StorageClass动态PV资源
4.编写es集群configmap资源
5.编写es集群statfulset资源
6.编写es集群...
ELK+Kafka+Filebeat日志系统
文章目录
ELK+Kafka+Filebeat日志系统
1.环境规划
2.部署elasticsearch集群
2.1.配置es-1节点
2.2.配置es-2节点
2.3.配置es-3节点
2.4.使用es-...
目录
1 MySql数据到Elasticsearch
1.1 下载logstash
1.2 解压logstash
1.3 在logstash 目录创建 mysql 文件夹
1.4 将 mysql 驱动文件和数据库查询文件 放进mysql中
1.5 在config 目录下创建 mysqltoes.conf 文件
1.6 mysqltoes.conf 配置
1.7 启动 l...
ELK+Kafka+Filebeat企业内部日志分析系统
文章目录
ELK:日志收集平台
概念图
组件介绍
1、Elasticsearch：
2、Logstash:
3、Kibana:
2、环境介绍
3、版本说明
实施部署...
DaemonSet 概述
DaemonSet 控制器能够确保 k8s 集群所有的节点都运行一个相同的 pod 副本，当向 k8s 集群中增加 node 节点时，这个 node 节点也会自动创建一个 pod 副本，当 node 节点从集群移除，这些 pod 也会自动删除；删除 Daemonset 也会删除它们创建的 pod
DaemonSet 工作原理：如何管理 Pod？
daemonset 的控制器会监听 kuberntes 的 da...
1.Spark下载
https://archive.apache.org/dist/spark/
2.上传解压，配置环境变量 配置bin目录
解压：tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local/soft/
改名：mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5
配置环境变量：vim /etc/profile
添加环境变量：
export S...
安装kafka下载地址https://kafka.apache.org/documentation解压tar -zxvf kafka_2.12-2.4.1 -C /usr/local/进入到config目录，编辑 server.properties 配置文件# 每个broker节点的id，集群架构下要唯一
broker.id = 0
# kafka对外提供的ip和端口号
#listeners=PLAINTEXT://:9092&n...
kafka中文教程 学习记录首先准备好linux机器环境，参考此篇文章：快速搭建Linux服务器环境单机版1. 下载代码https://kafka.apache.org/downloads.html官方的下载链接比较慢，这里可以使用第三方下载转发的链接地址：wget --no-check-certificate https://dl0.serctl.com/downloads8/2021-11-05-12-14-20--kafka_2.13-3.0.0.t...
常用命令：查看hive中表的结构： desc table_name;查看hive中表的详细结构：desc formatted table_name;我们想要将hive表中的数据导出到MySQL当中，MySQL中必须要有一个表来接收，并且该表的结构要和hive当中的表结构一致，不然会报错。踩坑：hive当中的 string 字段对应 MySQL当中的 varchar 类型直接上代码： sqoop expo...