日期:2014-05-16  浏览次数:20398 次

hbase系列(二):集群应用(基于hdfs)

??创建rsa无密码登录:

ssh-keygen -t rsa

cat .ssh/id_rsa.pub .ssh/authorized_keys

?

先配置hdfs:

1、下载hadoop-0.20.2.tar.gz,解压;

2、修改conf/hadoop-env.sh,配置java_home;

3、配置hdfs访问路径,core-site.xml:

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>

??

4、配置namenode复本数,hdfs-site.xml:

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>

??

5、配置namenode元数据与操作日志路径,hdfs-site.xml:

  <property>
     <name>dfs.name.dir</name>
     <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

   <property>
      <name>dfs.name.edits.dir</name>
      <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

??

6、配置map/reduce,mapred-site.xml:

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
 </property>
</configuration>

?

7、对namenode路径,进行格式化:

bin/hadoop namenode -format

?

可以看到配置的路径被格式化后,系统建了两个目录current与image。

?

7、启动hdfs:

bin/start-all.sh

ps?-ef|grep ?hdfs

会看到启动了3个java进程,1个namenode,1个datanode,1个备用namenode:

org.apache.hadoop.hdfs.server.namenode.NameNode

org.apache.hadoop.hdfs.server.datanode.DataNode

org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

?

再配置hbase:

1、配置hbase访问的hdfs路径、集群属性、zookeeper节点,hbase-site.xml

<property>
      <name>hbase.rootdir</name>
      <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
</property>
<property>
      <name>hbase.zookeeper.quorum</name>
      <value>localhost</value>
</property>

??

2、启动hbase:

bin/start-hbase.sh

ps -ef|grep hbase

可以看到又启动了3个java进程,分别是RegionServer、Zookeeper、Master:

org.apache.hadoop.hbase.regionserver.HRegionServer start

org.apache.hadoop.hbase.zookeeper.HQuorumPeer start

org.apache.hadoop.hbase.master.HMaster start

?

至此,基于hdfs上的hbase配置已经完成。

?

?