一佳互联

其实Hive的安装配置应该放在第二章来介绍，晚了些，希望对Hive初学者有用。 三、Hive的安装配置 3.1 环境需求 Hadoop Client Mysql 3.2 下载并解压Hive0.13.1安装包 下载地址：http://archive.apache.org/dist/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz cp apache-hive-0.13.1-bin.tar.gz /usr/local...

版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property>      <name>hbase.tmp.dir</name>   &nb...

Kafka的整体架构： 本文中的配置： 在两台机器Node1和Node2上，分别部署了两个broker，Zookeeper使用的是单独的ZK集群。 在每个机器上下载并解压kafka_2.10-0.8.2.1 http://kafka.apache.org/downloads.html Kafka配置 Node1: ip为 172.16.212.17   cd $KAFKA_HOME/config cp server.properti...

版本信息：     python 2.7.15     airflow==1.8.0     SQLAlchemy==1.1.18     flower==0.9.2 其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错，     [root@localhost ~]# python2 create_use...

备份和还原 备份 # ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" > ldap.20180626.ldif 参数说明： -x：进行简单的验证 -D：用来绑定服务器的DN -w：绑定DN的密码 -...

一、基础介绍 ========================================================================================== 1、简介 ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真...

本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。 我的环境： 三台服务器，分别命名为zelda1、zelda2、zelda3 ubuntu 14.04 hadoop 2.7.2 spark 2.0/1.6.1 YARN认证 目的是将YARN接入到kerberos集群里，使得： RM和NM之间能互相认证，避免混进去恶意服务； 其他提交到YARN上的JOB必须能够通过kerberos认证，避免无证商户提交作业到YARN集群...

Hadoop的认证机制 详细介绍请参考Hadoop安全机制研究 hadoop-kerberos介绍 简单来说,没有做kerberos认证的Hadoop，只要有client端就能够连接上。而且，通过一个有root的权限的内网机器，通过创建对应的linux用户，就能够得到Hadoop集群上对应的权限。 而实行Kerberos后，任意机器的任意用户都必须现在Kerberos的KDC中有记录，才允许和集群中其它的模块进行通信。 Java的安全机制 详细介绍请参考JAAS:...

hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。 yarn队列配置 要为llap分配一条队列，这条队列有几个要注意的地方.     最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.containter.mb参数加上一个最少的contai...

概述 目前上传至ambari-Kylin上的有两个版本，一个是HDP2.6与Kylin2.5.1集成使用的一版；一个是HDP3.0与Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用，如正常启停，超链接Kylin Web UI功能。 但是像服务的启停顺序和服务的自定义告警没有上传至此，需要微信关注公众号大数据实战演练，也可扫描底部二维码，回复ambari-kylin关键词获取云盘链接。云盘链接不仅有两个集成kylin服务的完整版，...