一佳互联

备份和还原 备份 # ldapsearch -x -b "dc=163,dc=com" -D "uid=authz,ou=Public,dc=163,dc=com" -w "CzfdX629K7" > ldap.20180626.ldif 参数说明： -x：进行简单的验证 -D：用来绑定服务器的DN -w：绑定DN的密码 -...

一、基础介绍 ========================================================================================== 1、简介 ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真...

本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。 我的环境： 三台服务器，分别命名为zelda1、zelda2、zelda3 ubuntu 14.04 hadoop 2.7.2 spark 2.0/1.6.1 YARN认证 目的是将YARN接入到kerberos集群里，使得： RM和NM之间能互相认证，避免混进去恶意服务； 其他提交到YARN上的JOB必须能够通过kerberos认证，避免无证商户提交作业到YARN集群...

Hadoop的认证机制 详细介绍请参考Hadoop安全机制研究 hadoop-kerberos介绍 简单来说,没有做kerberos认证的Hadoop，只要有client端就能够连接上。而且，通过一个有root的权限的内网机器，通过创建对应的linux用户，就能够得到Hadoop集群上对应的权限。 而实行Kerberos后，任意机器的任意用户都必须现在Kerberos的KDC中有记录，才允许和集群中其它的模块进行通信。 Java的安全机制 详细介绍请参考JAAS:...

hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。 yarn队列配置 要为llap分配一条队列，这条队列有几个要注意的地方.     最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.containter.mb参数加上一个最少的contai...

概述 目前上传至ambari-Kylin上的有两个版本，一个是HDP2.6与Kylin2.5.1集成使用的一版；一个是HDP3.0与Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用，如正常启停，超链接Kylin Web UI功能。 但是像服务的启停顺序和服务的自定义告警没有上传至此，需要微信关注公众号大数据实战演练，也可扫描底部二维码，回复ambari-kylin关键词获取云盘链接。云盘链接不仅有两个集成kylin服务的完整版，...

1.背景 Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Apache Kylin官网：http://kylin.apache.org/ Kylin的官网上每个版本的都提供两个包一个for HBase的一个for CDH的，根据自己的环境选择下载对应的kylin的安装包，否则后面会报各种各样的错误。 K...

yarn 非ha的时候是没问题的 在HA模式下，发现报错，信息如下： java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found    yarn.client.failover-proxy-provider=org.apa...

https://www.cnblogs.com/yongjian/p/10110119.html   https://blog.51cto.com/xiaolanlan/2082991  ...

HUE简介 Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。 由于工作需要，最近研究了一下hue的安装配置、...