elasticsearch如何设计集群目录一、如何对机器进行选择二、集群安装要怎么配置和设计2.1、系统设置2.2、基本安装配置2.3、jdk相关配置3.4、相关插件配置三、索引要怎么设计四、读写性能要怎么提升五、权限要怎么控制六、要怎么备份和还原七、怎么监控集群 本文为博客园作者所写： 一寸HUI，个人博客地址：https://www.cnblogs.com/zsql/ 在写本文时就在想，如果让你负责一个elasticsearch集群，从零开始，你会从...
elasticsearch7.8权限控制和规划目录一、集群权限配置二、用户和角色管理2.1、Security privileges（权限管理）2.2、role（角色）介绍和操作2.3、user（用户）介绍和操作 三、简单权限规划 由于在版本7开始，x-pack可以免费使用了，但是权限控制免费的不够细，但是控制到索引级别都基本够用了。付费的可以体验更细致的权限控制。本文的基础是已经有了es集群的基础上进行的。官网：https://www.elastic.co...
/
1017 次浏览/
大数据
Centos7+CM+CDH6.2.0最全安装资料环境篇：cm+cdh6.2.0安装(全网最全)-搜云库.pdf...
通过filebeat、logstash、rsyslog采集nginx日志的几种方式由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集...
ELK中的logstash、kafka与filebeat的部署。实战搭建环境与各主机角色说明。机器选择：睿江云平台节点选择：广东G（VPC网络更安全、SSD磁盘性能高）云主机配置：4核16G（4核8G也支持，但会有延时感）网络选择：VPC虚拟私有云（VPC网络更安全、高效）带宽：5M系统版本：Centos7.6云主机数量：5软件版本：ELK 7.4.0、kafka 2.12-2.6.0首先，下面为部署logstash的步骤。a.步骤1登陆logstash节点。ssh 到 19...
/
1024 次浏览/
大数据
Apache Superset最近发布了1.0.1版本，这也是1.0版本后的有一个重大的版本，Superset也会在以后有更多的改进。那么让我们来看一下最新的新功能吧。Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。Supers...
/
1049 次浏览/
大数据
Hadoop框架：HDFS高可用环境配置HDFS高可用1、基础描述在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。2、机制详解基于两个NameNode做高可用，依赖共享Edits文件和Zookeeper集群；每个NameNode节点配置一个ZKfai...
如何使用Python 进行数据可视化原创码农充电站机器学习 本文被收录于专区AI & 大数据进入专区参与更多专题讨论 在进行数据分析的时候，经常需要将数据进行可视化，以方便我们对数据的认识和理解。0，Matplotlib 简介Matplotlib 是一个可视化工具包，可以让我们使用Python 来可视化数据。这里有一些官方资源你可以点击查看：Matplotlib 安装Matplotlib 用户手册Matplotlib 函数汇总M...
import pandas as pd# 导入科学工具包print(pd.__version__)# pandas数据读取方法print('----')df = pd.read_excel('D:\\te.xls')df.head(5)df.to_excel('E:\\保存测试.xls',sheet_name='save_te')使用 海龟编辑器读取文件时，没有显示内容。下面是使用jupyter显示执行...
Elasticsearch：使用 Nginx 来保护 Elastic Stack 在我之前的文章 “反向代理及负载均衡在 Elasticsearch 中的应用” 中，我已经详述了如何使用 Nginx 来作为一个反向代理来访问 Elastic Stack。在今天的文章中，我将详述如何使用 Nginx 来保护 Elastic Stack。基于 Elastic Stack Basic 许可以上，我们都可以使用 Elastic Stack...