日期:2014-05-16  浏览次数:20817 次

网络爬虫工具、软件能抓取ajax开发的网站吗? - Web 开发 / Ajax
我现在遇到这样一个情况:
  目前有一个bs检索系统,用户每次检索都记录日志的。发现有一个用户间隔一秒就按不同的关键字检索,怀疑是有人用爬虫工具检索自动检索或者将数据抓取如自己的库了。
  在检索页面加验证码可以解决这个问题,但是这个网站是给一些机关单位用的,哪些人说每次检索都要输入验证码嫌麻烦。我想问一下有没有好的方法防止网站内容被抓取。用ajax开发做检索的话,一般的爬虫是不能抓取了,可是好像又有新的方式来抓取。不知道是什么原理。
  主要问题:
  1、ajax开发检索页面爬虫能有抓取内容?
  2、有什么更好的办法可以防止网站内容被抓取?

------解决方案--------------------
关注

------解决方案--------------------
关注