日期:2014-05-18  浏览次数:20432 次

用蜘蛛程序抓取的网页用什么数据库存储?
假如每天有10W条左右的数据,用sql 2005存储可以吗? 搜索会慢不?

还是用其他数据库来储存? 

谢谢~

------解决方案--------------------
可以。
------解决方案--------------------
10W不是很多哦!亲。
------解决方案--------------------
数据量不大,建立全文索引,搜索
------解决方案--------------------
应该可以的
------解决方案--------------------
如果慢了 使用DBCC 看看是否需要重建索引~可以提速
------解决方案--------------------
第一个问题,2005当然可以了,放心吧。
第二个问题,搜索的话,你建好索引就行了。

像这种问题得维护好数据库,1年的时候维护1下吗。

------解决方案--------------------
可以,慢了也是1年后的事情,慢了建索引提速好了..
------解决方案--------------------
当然可以使用2005了,建立索引即可,不过要定期维护啊
------解决方案--------------------
爬出来的数据最好用NOSQL来存储,爬出来的数据一般是非结构化的数据,用结构化的数据库可以存但是效率肯定不高。
PS:这个数据量SQL Server 2005是肯定搞得定的
------解决方案--------------------
存正文还是只存基本信息?
正文还是存文件的好