数据采集的思路
场景是这样的,假设生产车间有20个客户端PC机,现在加一个接口系统IS,IS依次从20个客户端采集数据。
采集方式:直接连他们的数据库SQLSERVER2000,抽取订单以及订单明细2个表,清楚这2个表的结构。
采集数据量:每个客户端这两个表的每天大约6万-10万,20台每天大约6万-10万条记录。
把采集到的数据保存到本地数据库(暂定SQLSERVER2005),然后对订单加工,以webservice方式发给其他系统。
现在,1.数据采集的机制是什么?
2.面对如此大的数据量,本地如何有效的存放,并且高效的查询?
目前,我的思路是IS启动20个线程,依次向每个客户端抽取数据;数据存放在本地对应临时表中,数据采集完后将临时表数据转到正式表中。
数据库采用年月日命名规则,历史数据按年月分区。
请各位高手、大侠不吝赐教!
------解决方案--------------------数据库同步(客户端 到 服务器)
服务器上用JOB定时处理数据
------解决方案--------------------考虑下订阅-发布机制