日期:2014-05-17  浏览次数:21103 次

windows安装hadoop

hadoop是什么就不多说了,看这里

hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me

?

我的环境:windows xp,hadoop安装包(0.20.1) ,cygwin

?

?

打开cygwin

?

explorer .

?

把hadoop的包放到这个目录下

然后输入命令

?

  tar zxf hadoop-0.20.1.tar.gz

?

解压完成后进入hadoop-0.20.1的配置目录,打开core-site.xml,加入以下内容。这里是定义namenode运行地址和端口

?

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

?

打开hdfs-site.xml,加入以下内容

<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

这里把复制因子设置为1是因为我们在windows上做伪分布,只能启动一个datanode

?

接下来可以定义namenode数据目录,和datanode数据目录。当然这个不是必须的,默认是在/tmp目录下面

?

<property>
  <name>dfs.name.dir</name>
  <value>c:/filesystem/name</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>c:/filesystem/data</value>
</property>

?最后修改hadoop-env.sh,把下面注释的这行打开,并设置为你的jdk路径。如果你的java在Program Files下,则整个jdk路径加引号

?

export JAVA_HOME=你的jdk路径

?


ok,在cygwin下进入bin目录,首先需要格式化namenode

?

./hadoop namenode -format

?

然后启动namenode

?

./hadoop namenode

?

再打开一个datanode,同样在bin目录下

?

./hadoop datanode

?

?

不出意外,你会看到

?

namenode

datanode

我们可以试一下上传文件

?

./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar

?

list一下

?

./hadoop fs -lsr /tt

?

结果:

?

-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar
?

有兴趣的筒子可以去c:/filesystem/data/current看看哈:)

?

?过几天再记录一下hadoop mapreduce

1 楼 dapp66 2010-01-25  
看来只有我回复你呀。
2 楼 dapp66 2010-01-26  
为什么我的提示:
./hadoop: line 258 c:\program: can not found

我的角度看路径没有错呀。而且也是在program files 文件夹下,也是用双引号括起来的。这是怎么搞的?
3 楼 canli0011 2010-09-07  
当我执行./hadoop namenode -format时为啥会出现下面的错误提示,我的hadoop-env.sh中JAVA_HOME配置为:
export JAVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。

出现的问题是:
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 2:$'\r':command not found
......
......
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 52:$'\r':command not found
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: cannot execute:NO such file or directory0_10
请指教…………
4 楼 canli0011 2010-09-09  
canli0011 写道
当我执行./hadoop namenode -format时为啥会出现下面的错误提示,我的hadoop-env.sh中JAVA_HOME配置为:
export JAVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。

出现的问题是:
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 2:$'\r':command not found
......
......