日期:2014-05-17  浏览次数:20419 次

网站采集写入数据库如何防止用户中断程序
我这个网站的数据都是采集的,点击网站上的链接,根据链接的关键词去采集,第一次采集数据,写入list并写入mssql数据库(把数据保存起来,因为第二次访问该页就直接获取数据库,每次采集60条数据)在网页显示出来,第二次不采集了,直接读数据库显示网页出来,现在遇到的问题是:第一次采集数据后批量写入数据库,这个过程有点慢,如果还没完成,用户点击其他链接,那么这个写入的过程就中断了,数据就不完整了,当再次刷新这个页面显示出来的数据肯定有缺失,求解决方案。

用xml或是本地数据库是否会快一些,减少用户中断程序的行为。不过总数据量挺大的,xml可能会更慢,access并发有限,其他本地数据库我没用过,是否还有其他更好的办法?

------解决方案--------------------
引用:
现在遇到的问题是:第一次采集数据后批量写入数据库,这个过程有点慢,如果还没完成,用户点击其他链接,那么这个写入的过程就中断了,


怎么可能会中断了?别以为我没有用过asp.net。
------解决方案--------------------
最好做成windows服务
------解决方案--------------------
网页只负责提交服务,然后读取服务进度,由后台服务去完成采集工作,最像360的在线扫描一下

http://webscan.360.cn/
------解决方案--------------------
很想知道怎么个中断法的。
------解决方案--------------------
不会是cs的吧,自己写了一个客户端,内嵌浏览器?