日期:2014-05-16  浏览次数:20598 次

分分钟搞定Hadoop-1.2.1集群--Linux下搭建Hadoop-1.2.1集群

?

分分钟搞定Hadoop-1.2.1集群

????????????? --Linux下搭建Hadoop-1.2.1集群

10分钟搞定Hadoop-1.2.1集群系列(1) http://chwshuang.iteye.com/blog/2037102

10分钟搞定Hadoop-1.2.1集群系列(2) http://chwshuang.iteye.com/blog/2037530

?

?

在搭建Hadoop集群前,请做好准备工作,准备工作做好,10分钟就能看到集群环境。

?

一、搭建环境(前提条件)

???? 系统:CentOS6.4 64bit

???? 软件环境:JDK1.6.0_45? Linux安装JDK请参考其他网络文章

???? 其他:sshd免密码登录环境? 请参考此文章? http://chwshuang.iteye.com/admin/blogs/2015040

???? 下载软件包:

????? hadoop-1.2.1.tar.gz?? 下载地址 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

????? zookeeper-3.4.6.tar.gz?? 下载地址 http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

????? hbase-0.94.17.tar.gz?? 下载地址? http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.17/hbase-0.94.17.tar.gz

????? 服务器列表:

服务器别名 服务器地址 服务器说明
myhadoop1 192.168.1.111 主NameNode服务器
myhadoop2 192.168.1.112 从Datanode服务器
myhadoop3 192.168.1.113 从Datanode服务器

?

二、搭建流程

??? 1. 添加用户 -- (以root用户在每台服务器上执行)

?????? (1)执行添加用户命令

? ? ? ?? useradd -d /home/myhadoop -s /bin/bash -m myhadoop

?????? (2)执行如下命令,为用户“myhadoop”设置密码。

???????? passwd myhadoop
?????? (3)您需要根据系统的提示输入两次密码“1234QWER”,然后通过以下命令进入主目录 ?

??????

[root@hadoop1 ~]# useradd -d /home/myhadoop -s /bin/bash -m myhadoop
[root@hadoop1 ~]# passwd myhadoop
Changing password for user myhadoop.
New password: 
BAD PASSWORD: it is too simplistic/systematic
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@hadoop1 ~]# 

?

?

?

? ? 2. 修改主机名称 ?? -- hostname添加集群服务器别名IP关系? -- (以root用户在每台服务器上执行)

??????? 需要修改3个地方,如果只修改hostname 指令这一处,重启电脑后还是会变回来。/etc/hosts主机文件, 这个地方修改是给DNS解析用的,单独修改也不行。只有三个地方同时修改才能算修改完成。修改完成后重启服务器

?

?????? 【1】 hostname 指令中修改。

?

??????????????? 直接输入hostname查看主机名是不是hadoop,如果不是,输入“hostname myhadoop1” 再输入 “hostname” 进行验证

?

???????????????

[root@hadoop1 ~]# hostname
hadoop1
[root@hadoop1 ~]# hostname myhadoop1
[root@hadoop1 ~]# hostname
myhadoop1
[root@hadoop1 ~]# 

?

?

?

?????? 【2】使用 vim /etc/sysconfig/network 修改网络配置中主机名,将修改 HOSTNAME=myhadoop1, 如果是192.168.1.112就改为HOSTNAME=myhadoop2

?

??????????????

[root@hadoop1 ~]# vim /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=myhadoop1

?

?

?

?????? 【3】使用 vim /etc/hosts 修改主机文件中本机名称,修改192.168.1.101后面的名称为 myhadoop1。其他以此类推。

[root@hadoop1 ~]# vim /etc/hosts

127.0.0.1       localhost
192.168.1.111   myhadoop1
192.168.1.112   myhadoop2
192.