日期:2014-05-16  浏览次数:20567 次

sqoop 1.4.4 使用3

这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,

--compress
--compression-codec 
org.apache.hadoop.io.compress.BZip2Codec

?使用的Bzip

当然hive的表也自动存为Bzip的.?

但是 如果hive 使用RCFile 存储,

create table table_rcfile STORED AS RCFile as
select * from table_bzip;

?会报错?

Failed with exception java.io.IOException:java.io.IOException: not a gzip file

?google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%3CAANLkTik=bYuFck=+E1K6yDt1uWD_P2hhUthCaFtRO1Yp@mail.gmail.com%3E

?

?

?

?

?