这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,
--compress --compression-codec org.apache.hadoop.io.compress.BZip2Codec
?使用的Bzip
当然hive的表也自动存为Bzip的.?
但是 如果hive 使用RCFile 存储,
create table table_rcfile STORED AS RCFile as select * from table_bzip;
?会报错?
Failed with exception java.io.IOException:java.io.IOException: not a gzip file
?google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%3CAANLkTik=bYuFck=+E1K6yDt1uWD_P2hhUthCaFtRO1Yp@mail.gmail.com%3E
?
?
?
?
?