Hadoop3 HDFS+YARNHA高可用教程

完整内容请看附近Hadoop3 HA高可用教程.docx



6 Hadoop HA 高可用,zookeeper+hadoop3x.

6.1HA概述

(1)所谓HAHighAvailablity,即高可用7*24小时不中断服务

(2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA

机制:HDFS HA YARN HA

(3)NameNode主要在以下两个方面影响 HDFS 集群

ØNameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启

ØNameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将NameNode 很快的切换到另外一台机器。

6.2HDFS-HA集群搭建

当前HDFS 集群的规划

hadoop102

hadoop103

hadoop104

NameNode

Secondarynamenode

DataNode

DataNode

DataNode

HA 的主要目的是消除 namenode 的单点故障,需要将hdfs 集群规划成以下模样

hadoop102

hadoop103

hadoop104

NameNode

NameNode

NameNode

DataNode

DataNode

DataNode