日期:2014-05-16 浏览次数:20465 次
?
?? ?Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。
?
?? ?Chukwa 是基于Hadoop集群中监控系统,可以用他来分析和收集系统中的数据(日志)
?
?? ?Hive 是DataWareHouse 和 Map Reduce交集,适用于ETL方面的工作
?? ?HBase 是一个面向列的分布式数据库。
?
?? ?Map Reduce 是Google提出的一种算法,用于超大型数据集的并行运算。
?
?? ?HDFS 可以支持千万级的大型分布式文件系统。
?
?? ?Zookeeper ?提供的功能包括:配置维护、名字服务、分布式同步、组服务等,用于分布式系统的可靠协调系统。
?
?? ?Avro 是一个数据序列化系统,设计用于支持大批量数据交换的应用
?
?? ?Sqoop 是一个可以将关系型数据库中的数据导入到Hadoop文件系统(HDFS)中的工具 。例如 Mysql的数据向Hive/HBase迁移。支持?Hsqldb、MySQL、Oracle、PostgreSQL等。
?http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html