hbase读取文件入库方案
入库方案初稿
一、采集文件
采用shell脚本,从话单存放机器通过ftp分别get到四台服务器上(可按四台机器的处理速度比例存放)
二、读取文件
有两种方案,一是四台服务器分别启动各自的shell脚本,通过shell把各自的话单文件put到hdfs的虚拟目录,再通过map方法读取;
二是直接从文件存放硬盘位置各自读取;
倾向于第二种方案
三、解析文件
有两种方案,一是通过map和reduce方法,由hadoop分布式从虚拟目录读取解析文件;
二是在四台机器上放置同样的多线程程序,进行文件解析;
倾向于第二种方案(第一种方案的主要缺点是hdfs与hbase有资源竞争)
四、文件入库
四台机器多线程程序并行写入到hbase的一个表