大数据

Hadoop 2.2.0 HA配置

本文详细介绍了如何在Ubuntu和CentOS环境下配置Hadoop 2.2.0的高可用性(HA)。包括核心配置文件core-site.xml和hdfs-site.xml的具体设置,启动过程以及如何验证配置的有效性。

在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能,本文在前文的基础上介绍hadoop 2.2.0HA的配置。

说明:

下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node ,namenode2为standby namenode。

journalnode机器有三台(注意:至少为三台),分别是journalnode1,journalnode2,journalnode3。(journalnode的机器的数量可以是3,5,7…)

另外,注意保持两台namenode的一致性,大部分在namenode1上进行的操作,也要在namenode2上进行一遍。

配置文件

core-site.xml和hdfs-site.xml的相关配置如下:

1、core-site.xml

2、hdfs-site.xml

重启使配置生效。

启动过程:

1、在journalnode机器上启动journalnode

sbin/hadoop-daemon.sh start journalnode

2、在namenode机器上启动namenode(这里假定namenode1为active,namenode2为standby)

a)如果是首次启动,在namenode1上运行format命令:

bin/hadoop namenode -format

b)如果是非首次启动,则在namenode1上运行以下命令

bin/hdfs namenode  -initializeSharedEdits

c)在namenode1上启动namenode:

sbin/hadoop-daemon.sh start namenode

d)在namenode2上运行以下命令:

sbin/hadoop-daemon.sh start  namenode -bootstrapStandby

如果失败的话,直接把namenode1的dfs.namenode.name.dir目录的数据直接拷贝到namenode2的dfs.namenode.name.dir目录。

然后在namenode2上启动namenode:

sbin/hadoop-daemon.sh start namenode

现在,namenode1和namenode2都启动了,都是“standby”状态。

e)在namenode1上运行命令:

bin/hdfs haadmin -transitionToActive nn1

这样,namenode1的状态就变成了“active”。

3、在datanode机器上启动datanode

sbin/hadoop-daemon.sh start datanode

到此时,hadoop2.0的HDFS就可以正常使用了,并且HA功能已经可用。

检查

可以通过以下页面查看active namenode(namenode1)和 standby namenode(namenode2)的状态

http://namenode1:50070/dfshealth.jsp

http://namenode2:50070/dfshealth.jsp

另外,可以运行常用的HDFS shell 命令测试HDFS是否正常。

HA的failover测试

停掉namenode1的namenode(模拟namenode1挂掉),这时会发现hdfs不能用了。

在namenode2上运行以下命令:

bin/hdfs haadmin -transitionToActive nn2

运行命令成功后,namenode2的状态就变成“active”,这时 HDFS 恢复正常。

在namenode1上运行一下命令做主从切换命令:

bin/hdfs haadmin -failover nn1 nn2

此时namenode2的状态就变成“active”,而namenode1的状态变成“standby”。

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿