Kafka的整体架构：本文中的配置：在两台机器Node1和Node2上，分别部署了两个broker，Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apache.org/down...

版本信息： python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错， [root@loca...

备份和还原备份# ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" &...

一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具，基于Python...

本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。我的环境：三台服务器，分别命名为zelda1、zelda2、zelda3 ubuntu 14.04 hadoop 2.7.2 spark 2.0/1.6.1 YARN认证目的是将Y...

Hadoop的认证机制详细介绍请参考Hadoop安全机制研究hadoop-kerberos介绍简单来说,没有做kerberos认证的Hadoop，只要有client端就能够连接上。而且，通过一个有root的权限的内网机器，通过创建对应的linux用户，就能...

hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。yarn队列配置要为llap分配一条队列，这条队列有几...

概述目前上传至ambari-Kylin上的有两个版本，一个是HDP2.6与Kylin2.5.1集成使用的一版；一个是HDP3.0与Kylin2.6.0集成使用的一版。上传至github上的仅支持服务的基本使用，如正常启停，超链接Kylin Web UI功能...

1.背景Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。Apache Kylin官网：h...

yarn 非ha的时候是没问题的在HA模式下，发现报错，信息如下：java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.clie...