hadoop学习心得之安装01 hadoop安装
下载hadoop安装包
http://www.apache.org/dyn/closer.cgi/hadoop/core/ 下载最新的
将hadoop安装包hadoop-0.20.1.tar.gz解压到D:\hadoop\
接下来,需要修改hadoop 的配置文件,它们位于conf 子目录下,分别是hadoop-env.sh、
core-site.xml、hdfs-site.xml 和mapred-site.xml 共四个文件。
在Cygwin 环境,masters 和slaves
两个文件不需要修改。
修改hadoop-env.sh
1:只需要将JAVA_HOME 修改成JDK 的安装目录即可,请注意JDK 必须是1.6 或以上版本。记得把#号注释去掉
2@修改core-site.xml
为简化core-site.xml 配置,将D:\hadoop\run\src\core 目录下的core-default.xml 文件复制
到D:\hadoop\run\conf 目录下, 并将core-default.xml 文件名改成core-site.xml 。修改
fs.default.name 的值,修改
<name>fs.default.name</name>
<value>hdfs://localhost:8888</value>
3:修改hdfs-site.xml
为简化hdfs-site.xml 配置,将D:\hadoop\run\src\hdfs 目录下的hdfs-default.xml 文件复制
到D:\hadoop\run\conf 目录下,并将hdfs-default.xml 文件名改成hdfs-site.xml。不需要再做其
它修改。
4:修改mapred-site.xml
为简化mapred-site.xml 配置,将D:\hadoop\run\src\mapred 目录下的mapred-default.xml
文件复制到D:\hadoop\run\conf 目录下,并将mapred-default.xml 文件名改成mapred-site.xml。
修改如下:
<name>mapred.job.tracker</name>
<value>localhost:9999</value>
下面就是见证奇迹的时刻了,不知道你机器有没有其他问题能不能到这一步?
9. 启动hadoop
在Cygwin 中,进入hadoop 的bin 目录,运行./start-all.sh 启动hadoop,在启动成功之后,
可以执行./hadoop fs -ls /命令
found 4 items 则正确:
我的一直不正确,原因是上面java_home 配置不正确hadoop-env.sh中
其中路径有空格,可以用 ""把路径包括起来。 反斜杠不知道需要改吗?
从dos目录转换到unix:在conf/目录下执行“dos2unix hadoop-env.sh”就OK了。。
##############没有解决这个问题
参考1:
http://39382728.blog.163.com/blog/static/35360069201010309352535/
参考2:
http://simbas.iteye.com/blog/573498
如果运行mapreduce 有时间再写