日期:2014-05-16  浏览次数:20767 次

hadoop-1.0.1在Linux环境下的安装

hadoop-1.0.1在Linux环境下的安装

?

1、下载hadoop-1.0.1并将其上传至Linux服务器

下载链接如下:http://archive.apache.org/dist/hadoop/core/hadoop-1.0.1/hadoop-1.0.1.tar.gz

此处设定上传目录为/var/ftp/pub,并使用命令tar -xzvf hadoop-1.0.1.tar.gz进行解压,将解压文件移动到home目录下

?

2、hadoop配置

进入解压目录的conf里面:

?

设定JDK的安装位置:

修改hadoop-env.sh,在其中加入如下语句:

export JAVA_HOME=/usr/lib/jvm/jdk安装位置

?

设定Hadoop的核心文件core-site.xml,即配置HDFS的地址与端口号:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

?

由于此处的Hadoop是单机版,我们将默认的备份方式修改成1,即修改hdfs-site.xml如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

?

我们继续配置MapReduce,修改mapred-site.xml如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

?

配置完成,在启动Hadoop之前 ,我们格式化Hadoop的文件系统HDFS。进入Hadoop的安装目录,输入命令:

bin/hadoop namenode -format

?

格式化完成后,我们来启动Hadoop。

输入命令,启动所有进程:

bin/start-all.sh

?

最后我们来验证Hadoop是否安装完成:

打开浏览器,输入网址:

http://localhost:50030(如果是Linux上的浏览器)
http://Linux服务器IP地址:50030(如果是在Windows上安装的虚拟机,而打开的是Windows的浏览器)
这里打开的是MapReduce的Web页面

(方法同上)
http://localhost:50070
http://Linux服务器IP地址:50070
这里打开的是HDFS的Web页面 

如果此处能够打开,则说明安装成功。