日期:2014-05-16  浏览次数:20648 次

Linux hadoop-0.20.2 安装及简单使用 (转)

本文原创地址:http://blog.163.com/jiayouweijiewj@126/blog/static/1712321772010818103350582/

?

?

??我是初学者,文章只是记录我的学习过程,有很多不足或是错误,请大家谅解并指正,真心希望多和大家交流~

安装步骤如下:

1.1 机器说明

总共有4台机器:sc706-26、sc706-27、sc706-28、sc706-29

IP地址分别为:192.168.153.89、192.168.153.90、192.168.153.91、192.168.153.92

操作系统为:Linux的fedora12

jdk版本为:jdk-6u19-linux-i586

hadoop版本为:hadoop-0.20.2

sc706-26作为NameNode、JobTracker,其他三台作为DataNode、TaskTracker

1.2 用机器名Ping通机器

用root登录,在NameNode上修改/etc/hosts文件,加入四台机器的IP地址和机器名,如下:

192.168.153.89? sc706-26

192.168.153.90? sc706-27

192.168.153.91? sc706-28

192.168.153.92? sc706-29

设置好后验证下各机器间是否ping通,用机器名或是IP地址都可以,例如ping sc706-27或ping 192.168.153.90

1.3 新建hadoop用户

Hadoop要求所有机器上hadoop的部署目录结构要相同并且有一个相同的用户名的帐户,我的默认路径为/home/hadoop

1.4 ssh设置及关闭防火墙

1)fedora装好后默认启动sshd服务,如果不确定的话可以查一下 [root@sc706-26 hadoop]# service sshd status

如没有启动的话,先启动 [root@sc706-26 hadoop]# service sshd start

建立ssh无密码登录,在NameNode上 [hadoop@sc706-26 ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

会在~/.ssh/生成两个文件:id_dsa和id_dsa.pub,这两是成对出现的,把id_dsa.pub文件追加到DataNode上的authorized_keys

[hadoop@sc706-26 ~]$ scp id_dsa.pub sc706-27:/home/hadoop/ (注意其中目标机器后面的:与要传到的文件路径之间没有空格,即sc706:与/home/hadoop/之间没有空格)

??????????????????????????????????????scp id_dsa.pub sc706-28:/home/hadoop/

??????????????????????????????????????scp id_dsa.pub sc706-29:/home/hadoop/

登录到DataNode上,[hadoop@sc706-27 ~]$ cat id_dsa.pub >> ~/.ssh/authorized_keys ,其余两台一样,NameNode上也要追加。注意:追加完后必须修改NameNode和DataNode上的.ssh和authorized_keys的权限,chmod命令,参数755,完成后测试下,例如ssh sc706-27时不需要密码就可以登录,就可以知道ssh设置成功。

2)关闭防火墙(NameNode和DataNode都必须关闭)

[root@sc706-26 ~]# service iptables stop

注意:每次重新开机启动hadoop前都必须关闭

1.5 安装jdk1.6(几台机子都一样)
在官网
http://java.sun.com下载jdk-6u19-linux-i586.bin,之后直接安装[root@sc706-26 java]#chmod +x jdk-6u19-linux-i586.bin [root@sc706-26 java]# ./jdk-6u19-linux-i586.bin,我的安装路径为:/usr/java/jdk1.6.0_19,安装后添加如下语句到/etc/profile中:

export JAVA_HOME=/usr/java/jdk1.6.0_19

export JRE_HOME=/usr/j