日期:2014-05-16  浏览次数:20326 次

hadoop学习(五)Hadoop2.2.0完全分布式安装详解(1)

      和同伴一起搭建hadoop集群中遇到的各种问题,整理如下:

前言

        在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东西对已经忘了。现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了。开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下。

        在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里。有的时候需要结合几篇文档去搭建平台。在这篇博客汇总会把我们遇到的问题,以及搭建过程中发生的一些事情总结一下。有关于hadoop具体的安装过程和配置相应的文件,我们后续也会给出来。

        如果你决定花点时间去读这篇文章了,请大家仔细读一下,因为每一个点,我们都在上面耽误了一些时间,梳理一下,大家如果遇到相应的问题,也算给大家提供了一个解决方案。

1、系统环境-配置静态IP:

        Ubuntu环境,这里我们采用的是32位12.04.2版本。我们原先在老版本10.04中搭建,在安装ssh的时候,出现了问题。后来为了集群统一管理,我们把ubuntu整个版本升级到12.04(重装ubuntu)。

        简单说一下ubuntu安装过程,在windows系统中,利用wubi安装是最简单的,点击自己安装,然后按照步骤执行。结束后,遇到一个棘手的问题:新装的ubuntu不能上网。而这是搭建hadoop环境的前提,保证可以上网。

解决方法:配置静态IP。

        在ubuntu12.04版本中,右上角,有个上下图标,点击编辑连接,手动设置静态IP、网关、子网掩码、DNS。这样做的目的:是能保证ubuntu上网,是第一步。



        上述是图形化配置静态IP,我们也可以通过如下步骤手动配置。

执行:

      sudo gedit /etc/network/interfaces

输入:

     auto eth0
     iface eth0 inet static 
     address 172.16.128.136
     netmask 255.255.255.0
     gateway 172.16.128.1

保存:重启网关

     sudo /etc/init.d/networking restart

2、安装jdk

        这里会遇到一些问题。原因是,如果你是新装的ubuntu基本上不会遇到这种问题,你可以按照下面(1)的步骤就可以配置好环境变量,通过Java -version就可以查看jdk版本。如果你是在操作别人的电脑,由于原来jdk版本不一致。要重新安装jdk,但不能影响别人用户下的jdk版本。

        解决的办法就是,把自己要安装的jdk解压到本地用户如:/home/zz/jvm/jdk1.7.0_45,然后配置.bashrc环境变量。结束保存,source