日期:2014-05-17 浏览次数:21103 次
hadoop是什么就不多说了,看这里
hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me
?
我的环境:windows xp,hadoop安装包(0.20.1) ,cygwin
?
?
打开cygwin
?
explorer .
?
把hadoop的包放到这个目录下
然后输入命令
?
tar zxf hadoop-0.20.1.tar.gz
?
解压完成后进入hadoop-0.20.1的配置目录,打开core-site.xml,加入以下内容。这里是定义namenode运行地址和端口
?
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
?
打开hdfs-site.xml,加入以下内容
<property> <name>dfs.replication</name> <value>1</value> </property>
这里把复制因子设置为1是因为我们在windows上做伪分布,只能启动一个datanode
?
接下来可以定义namenode数据目录,和datanode数据目录。当然这个不是必须的,默认是在/tmp目录下面
?
<property> <name>dfs.name.dir</name> <value>c:/filesystem/name</value> </property> <property> <name>dfs.data.dir</name> <value>c:/filesystem/data</value> </property>
?最后修改hadoop-env.sh,把下面注释的这行打开,并设置为你的jdk路径。如果你的java在Program Files下,则整个jdk路径加引号
?
export JAVA_HOME=你的jdk路径
?
ok,在cygwin下进入bin目录,首先需要格式化namenode
?
./hadoop namenode -format
?
然后启动namenode
?
./hadoop namenode
?
再打开一个datanode,同样在bin目录下
?
./hadoop datanode
?
?
不出意外,你会看到
?
namenode
datanode
我们可以试一下上传文件
?
./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar
?
list一下
?
./hadoop fs -lsr /tt
?
结果:
?
-rw-r--r-- 1 Administrator supergroup 20793970 2010-01-18 15:52 /tt/vm.rar?
有兴趣的筒子可以去c:/filesystem/data/current看看哈:)
?
?过几天再记录一下hadoop mapreduce