hive bucket产生的小文件有关问题
日期：2014-05-16 浏览次数：20434 次
hive bucket产生的小文件问题
Hive bucket主要作用：
1. 数据sampling
2. 提升某些查询操作效率，例如mapside join
Hive bucket主要作用：
1. 数据sampling
2. 提升某些查询操作效率，例如mapside join
与此同时，在数据不均匀的情况下，bucket产生大量小文件，会带来很大麻烦，具体表现为：
1. 文件数目过多，给namenode带来压力
2. 在对查询条件不加限制时，启动大量map任务
3. 数据入库慢
结论：
bucket，慎用！
免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
