日期:2014-05-16 浏览次数:20398 次
??创建rsa无密码登录:
ssh-keygen -t rsa
cat .ssh/id_rsa.pub .ssh/authorized_keys
?
先配置hdfs:
1、下载hadoop-0.20.2.tar.gz,解压;
2、修改conf/hadoop-env.sh,配置java_home;
3、配置hdfs访问路径,core-site.xml:
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
??
4、配置namenode复本数,hdfs-site.xml:
<property> <name>dfs.replication</name> <value>1</value> </property>
??
5、配置namenode元数据与操作日志路径,hdfs-site.xml:
<property> <name>dfs.name.dir</name> <value>/u01/data/hadoop0.20/dfs/name</value> </property> <property> <name>dfs.name.edits.dir</name> <value>/u01/data/hadoop0.20/dfs/name</value> </property>
??
6、配置map/reduce,mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
?
7、对namenode路径,进行格式化:
bin/hadoop namenode -format
?
可以看到配置的路径被格式化后,系统建了两个目录current与image。
?
7、启动hdfs:
bin/start-all.sh
ps?-ef|grep ?hdfs
会看到启动了3个java进程,1个namenode,1个datanode,1个备用namenode:
org.apache.hadoop.hdfs.server.namenode.NameNode
org.apache.hadoop.hdfs.server.datanode.DataNode
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
?
再配置hbase:
1、配置hbase访问的hdfs路径、集群属性、zookeeper节点,hbase-site.xml
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property>
??
2、启动hbase:
bin/start-hbase.sh
ps -ef|grep hbase
可以看到又启动了3个java进程,分别是RegionServer、Zookeeper、Master:
org.apache.hadoop.hbase.regionserver.HRegionServer start
org.apache.hadoop.hbase.zookeeper.HQuorumPeer start
org.apache.hadoop.hbase.master.HMaster start
?
至此,基于hdfs上的hbase配置已经完成。
?
?