日期:2014-05-16  浏览次数:20423 次

从Cassandra读取数据进行Map/Reduce的实现方法

?

本文以Cassandra 0.8中的hadoop_word_count为例:

https://svn.apache.org/repos/asf/cassandra/branches/cassandra-0.8/examples/hadoop_word_count/

?

需要安装插件:mapreducetools

下载地址:http://www.alphaworks.ibm.com/tech/mapreducetools

解压缩后将这个插件放入到eclipse安装目录下的plugins目录下。

需要重启eclipse

?



将编译Cassandra所生产的所有jar包都拷贝到WordCout目录下。



?文件说明:

WordCount2.java为一个纯的MapReduce程序。

WordCount.java? Cassandra中读出数据进行计算然后存放到本地或者hdfs或者Cassandra中。

WordCountSetup.java Cassandra中创建Shcema,插入测试数据。

?




?

?

?

?

?

1 楼 tiger1819 2011-07-19  
不错,学习了。