用蜘蛛程序抓取的网页用什么数据库存储?
假如每天有10W条左右的数据,用sql 2005存储可以吗? 搜索会慢不?
还是用其他数据库来储存?
谢谢~
------解决方案--------------------可以。
------解决方案--------------------10W不是很多哦!亲。
------解决方案--------------------数据量不大,建立全文索引,搜索
------解决方案--------------------应该可以的
------解决方案--------------------如果慢了 使用DBCC 看看是否需要重建索引~可以提速
------解决方案--------------------第一个问题,2005当然可以了,放心吧。
第二个问题,搜索的话,你建好索引就行了。
像这种问题得维护好数据库,1年的时候维护1下吗。
------解决方案--------------------可以,慢了也是1年后的事情,慢了建索引提速好了..
------解决方案--------------------当然可以使用2005了,建立索引即可,不过要定期维护啊
------解决方案--------------------爬出来的数据最好用NOSQL来存储,爬出来的数据一般是非结构化的数据,用结构化的数据库可以存但是效率肯定不高。
PS:这个数据量SQL Server 2005是肯定搞得定的
------解决方案--------------------存正文还是只存基本信息?
正文还是存文件的好