分布式中间件之Kafka

安装kafka下载地址https://kafka.apache.org/documentation解压tar -zxvf kafka_2.12-2.4.1 -C /usr/local/进入到config目录，编辑 server.properties 配置文...

kafka 安装和启动

kafka中文教程 学习记录首先准备好linux机器环境，参考此篇文章：快速搭建Linux服务器环境单机版1. 下载代码https://kafka.apache.org/downloads.html官方的下载链接比较慢，这里可以使用第三方下载转发的链接地址...

sqoop 导出hive数据到MySQL数据库当中

常用命令：查看hive中表的结构： desc table_name;查看hive中表的详细结构：desc formatted table_name;我们想要将hive表中的数据导出到MySQL当中，MySQL中必须要有一个表来接收，并且该表的结构...

Python+Pandas：快速连接各种常用数据库满足你的一切常用需求

在大数据时代下，和数据打打交道是家常便饭。那么常用储存数据的一种方式：数据库，用起来那也是相当的得心应手，今天就用python连接各类常见数据库！常用数据库1.sqlite2.mysql3.postgresql4.mongodb5.redis6.hive7...

Flink学习记录--入门篇

前言流式计算可能在日常不多见，主要统计一个阶段内的PV、UV，在风控场景很常见，比如统计某个用户一天内同地区下单总量来判断该用户是否为异常用户。还有一些大数据处理场景，如将某一段时间生成的日志按需要加工后倒入到存储DB中做查询报表。为什么要学习Flink，...

大数据SPARK系列篇-1个经典的入门实例(单词统计功能)

大数据SPARK系列篇-1个经典的入门实例(单词统计功能 基于SCALA语言 sparkContext.textFile(“hdfs://hadoopNode1:8000/data/word.txt” .flatMap{_.split(" &qu...

安装Hadoop

实验概述：1. 配置Hadoop主从服务2. 配置服务器ssh免登录3. 验证Hadoop安装成功实验目的：通过该实验后，可以独立安装配置Hadoop集群环境实验背景：本实验中会分配到三台装有Centos 7的服务器，请将其中的一台选定为主服务器(name...

大数据技能竞赛之Spark搭建（五）

以下操作除特殊说明外都在三个节点上操作。注意：操作前务必使三台虚拟机可以互相免密通信！一、安装Scala软件包使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下创建工作目录mkdir -p /usr/scala解压缩...