日期:2014-05-16  浏览次数:20507 次

MongoDB Hadoop Connector 1.0 正式版发布

原文 http://www.iteye.com/news/24811

?

10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。

MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求,继续完善对Hadoop生态系统中组件的支持。


10gen称,1.0版是一个长期支持版本,将提供超过1年的维护,并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。

该版本还提供了如下功能:

  • 从Apache Pig(大数据集分析平台)写入到MongoDB
  • 从Flume分布式日志系统写入到MongoDB
  • 在MapReduce中使用Python,并通过Hadoop Streaming读取和写入MongoDB数据
详细信息参阅:10gen博客

源码地址:https://github.com/mongodb/mongo-hadoop