一佳互联

Traefix介绍（摘自网络）       traefik 是一个前端负载均衡器，对于微服务架构尤其是 kubernetes 等编排工具具有良好的支持；同 nginx 等相比，traefik 能够自动感知后端容器变化，从而实现自动服务发现。       traefix的架构如下：     Traefix的部署使用 部署环境：      k8s-nod...

本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。 其实现原理有点类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。 在开始之前有必要了解下Prometheus是什么? Prometheus （中文名：普罗米修斯）是由 SoundCloud 开发...

1. 下载最新版、解压 wget https://github.com/coreos/prometheus-operator/archive/v0.23.2.tar.gz 2. 部署 官方提示默认在default命名空间下创建，这里我们修改一下 Note: make sure to adapt the namespace in the ClusterRoleBinding if deploying in another namespace than the d...

1、下载kubernetes-dashboard.yaml wget https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml   2、修改镜像地址（mirrorgooglecontainers/kubernetes-dashboard-amd64:v1.10.1）后安装 [root@master]...

1.prometheus框架结构 2.prometheus组件介绍 2.1.Prometheus Server 这是Prometheus的服务端，也就是核心。 Prometheus本身是一个以进程方式启动，之后以多进程和多线程实现监控数据收集、计算、查询、更新、存储的这样一个C/S模型运行模式。 2.2.prometheus存储 prometheus采用的是time-series（时间序列）的方式，以一种自定义的格式存储在本地硬盘上。 prometheus的...

HBCK - HBCK检查什么？ (1)HBase Region一致性 集群中所有region都被assign，而且deploy到唯一一台RegionServer上 该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致 (2)HBase 表完整性 对于集群中任意一张表，每个rowkey都仅能存在于一个region区间   HBCK – 常用检查命令 ./bin/hbase h...

一、前言 HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：   图1.HBase数据迁移方案   从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。下面分别介绍一下。 二、Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy)， 官方描述是：DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它...

 hbase配置 [root@node1 test]# cat /usr/hdp/current/hbase-client/conf/hbase-site.xml   <configuration>     #Todo     <property>       <name>dfs.domai...

目前公司内部有多个系统，而每个系统都有自己的一套用户认证。每次新进或离职一位同事，我们这边OPS运维组的小伙伴们，都要在每个系统上去添加用户，搞得小伙伴们很不爽。 为了让OPS运维组的小伙伴们，从这个繁琐的工作中解放出来，同时也为了统一管理所有系统的用户认证，我们决定启用ldap。这样每个系统的用户认证全部通过ldap来进行，而每个系统的权限就使用各自系统的权限管理即可。 一、OpenLDAP简介 在安装OpenLDAP之前，我们首先来介绍下LDAP。 LDAP是一款...

### 基本概念 1. 集群资源定义   YARN的资源抽象比较简单，只有两种资源：内存和CPU。而资源数量是管理员手动设置的，每个NM节点可以贡献一定数量的内存（MB）和CPU，由RM统一管理，不一定是真实的内存和CPU数。其中内存资源是比较关键的，直接决定任务能否成功。如果某个任务需要的内存过多，可能无法执行，或者OOM。CPU资源的限制比较弱，只限定了一台NM上能并发执行多少任务。如果并发的过多，执行的可能比较慢。 2. 调度器   &nbs...