大数据SPARK系列篇-1个经典的入门实例(单词统计功能 基于SCALA语言 sparkContext.textFile(“hdfs://hadoopNode1:8000/data/word.txt” .flatMap{_.split(" &qu...

实验概述：1. 配置Hadoop主从服务2. 配置服务器ssh免登录3. 验证Hadoop安装成功实验目的：通过该实验后，可以独立安装配置Hadoop集群环境实验背景：本实验中会分配到三台装有Centos 7的服务器，请将其中的一台选定为主服务器(name...

以下操作除特殊说明外都在三个节点上操作。注意：操作前务必使三台虚拟机可以互相免密通信！一、安装Scala软件包使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下创建工作目录mkdir -p /usr/scala解压缩...

准备工作： 安装jdk 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】（虚拟机的克隆，...

Apache Atlas 架构设计及源代码分析, 以Hive建库为例,分析元数据采集的主体流程...

准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html...

1、Hive完整建表 1 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name( 2 [(col_name data_type [COMMENT col...

1、使用JDBC连接Hive 1 import java.sql.Connection; 2 import java.sql.DriverManager; 3 import java.sql.Prep...

版本：ambari 2.7.3 ，其他版本应该也差不多是一样的 一、背景说明 时不时就有小伙伴微信里面问我有没有做过，为已有的 ambari 集群修改主机名？之前是有修改过 ip 的，主机名还真没修改...

SQOOP安装及使用 SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改文件...