日期:2014-05-16  浏览次数:21079 次

在windows环境通过cygwin部署hadoop伪集群

背景

在google发布GFS和Map Reduce的两篇论文之后,围绕着大数据各种实现如雨后春笋般的产生,而其中的佼佼者非hadoop家族莫属。有了类似hadoop的开源实现后,使得数据的采集变得更加廉价,机器学习的价值更加提高。因此熟悉hadoop,了解hadoop的运作机制,对于开发人员提出了更高的要求,能更好地理解并优化自己的MapReduce任务,同时对分布式的存储和计算系统也能有更好的了解。本文着重讲述如何在windows环境下,通过cygwin来搭建hadoop伪集群。

运行环境

  • windows7
  • cygwin x84 64位

cygwin

安装

  1. 下载自己系统的cygwin安装软件
  2. 安装过程中选择安装openSSH和openSSL,主要让系统启动sshd服务,来进行节点间的bash脚本执行来启动相关的售后进程?Alt text

  3. 点击下一步,直到cygwin安装完成

配置

安装完cygwin后,一定要进行ssh的配置才能算大工告成,配置的过程还是很容易碰到一些问题的。

安装启动ssh服务

cygwin命令行输入ssh-host-config?