用途

此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。

初次接触hadoop建议先从单节点集群开始。

?

前提

从Apache?上下载了稳定的版本。

?

安装

安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。

通常集群中的某一个节点被当做NameNode,其他节点作为ResourceManager，这些是主控节点。其他节点被当做DataNode和NodeManager，这些是从节点。

?

非安全模式启动Hadoop

接下来的章节将会阐述如何配置hadoop集群。

配置文件

hadoop中的配置文件有两大类型：

只读型默认配置：core-default.xml,?hdfs-default.xml,?yarn-default.xml?and?mapred-default.xml

定制化配置：conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml.

此外：你可以自己操作hadoop的脚本，在bin目录下可以找到，还有一些配置的环境变量在conf/hadoop-env.sh and yarn-env.sh中。

站点配置：

配置hadoop集群你首先要配置hadoop守护进程执行的环境。

hadoop的守护进程包括NameNode/DataNode and ResourceManager/NodeManager.

hadoop守护进程环境配置：

管理员需要使用conf/hadoop-env.sh and conf/yarn-env.sh脚本对hadoop守护进程做环境配置。

首先你要验证JAVA_HOME在所有的节点上是否正确