1. 爱易网页
  2. Linux
  3. Linux上安装搭建Hadoop集群

Linux上安装搭建Hadoop集群

日期：2014-05-16　 浏览次数：20768 次

Linux下安装搭建Hadoop集群

参考：http://blog.csdn.net/wangfaqiang/article/details/7244552

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\
官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)

1 先决条件
??? 确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK? ，ssh，Hadoop
??? JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。
??? ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。

2 实验环境搭建
?? 2.1? 准备工作
???? 操作系统：CentOS release 6.3
???? 部署：Vmvare
???? 在vmvare安装好一台Linux虚拟机后，可以导出或者克隆出另外两台虚拟机。
???? 说明：
???? 保证虚拟机的ip和主机的ip在同一个ip段，这样几个虚拟机和主机之间可以相互通信。
???? 为了保证虚拟机的ip和主机的ip在同一个ip段，虚拟机连接设置为桥连。

???? 准备机器：一台master，若干台slave，配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访，例如：
???? 192.168.1.105 node（master）? ?
???? 192.168.1.151 node1 （slave1）? ?
???? 192.168.1.152 node2 （slave2）
????? 192.168.1.153 node3 （slave2）
???? 主机信息: ?

机器名

??IP地址

作用

master

192.168.1.105

NameNode、JobTracker

slave1

192.168.1.151

DataNode、TaskTracker

slave2

192.168.1.152

DataNode、TaskTracker

slave3

192.168.1.153

相关资料更多>

  1. Linux上怎么保持gnome-terminal窗口执行命令后停留而不立刻关闭(gnome-terminal -x)
  2. linux上export path
  3. ld与.a后缀的静态库 不兼容解决办法
  4. umount后，硬盘如何挂载下去
  5. mysql 连接有关问题Access denied for user 'root'@'localhost' (using password: YES)
  6. 怎么消除warnings：type defaults to 'int' in declaration of
  7. 做一位新手，内核讨论群，都是喜欢内核的，多谢了
  8. [转]linux tee下令参数及用法详解-读取输入写入文件
  9. 嵌入式linux，怎么访问pc机的mysql数据库