1. 爱易网页
  2. C#教程
  3. URL重写后百度蜘蛛抓取时不完整或是多了一个“-”解决方案

URL重写后百度蜘蛛抓取时不完整或是多了一个“-”解决方案

日期：2014-05-20　 浏览次数：20749 次

URL重写后百度蜘蛛抓取时不完整或是多了一个“-”
本帖最后由 haolijing85 于 2010-09-07 20:29:22 编辑
URL重写后百度蜘蛛抓取时不完整或是多了一个“-”

完整的URL或是画蛇添足，具体情况与有关日志摘录如下：

2010-08-31 01:37:14 W3SVC485830957 202.91.231.89 GET /syfanw - 80 - 123.125.71.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 199 46————不完整

2010-09-04 02:50:37 W3SVC485830957 202.91.231.89 GET /PR - 80 - 123.125.71.35 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 195 31————不完整，这个“PR”也不知道哪里来的

2010-09-05 03:13:40 W3SVC485830957 202.75.216.89 GET /jiaoxueziyuan/shijuan/fanwen_12.ht- - 80 - 220.181.7.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整，“M”变成“-”

2010-09-05 07:47:55 W3SVC485830957 202.75.216.89 GET /jianghua/jianghuagao/fanwen_25.htm- - 80 - 220.181.7.69 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 46————多了一个“-”

2010-09-07 05:52:47 W3SVC485830957 202.75.216.89 GET /xindetihui/guanhougan/fanwen_287.h- - 80 - 220.181.7.56 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 64 0 228 31————不完整，“TM”变成“-”

高手们快点出现吧，我快要崩溃了
------解决方案--------------------
有人知道这个原因吗
------解决方案--------------------
自己再顶一下
------解决方案--------------------
看不懂。。。。是在检测什么

相关资料更多>

  1. c#基础有关问题1
  2. DataGrid中<ItemTemplate>中的控件怎么条件隐藏
  3. 请教，怎么读取共享文件夹访问记录
  4. 如何开起winform监听程序，然后实现自定义时间与路径，控制服务器上自动备份文件和数据库
  5. 怎么设置datagridview单元格中按钮的文本
  6. 求算法。该如何解决
  7. 88888惯例放分,顺便说点题外话.不会被移帖吧?今天晚上赶完项目就结贴.该如何解决
  8. WPF，怎样去掉ListBox的右键选中项,该怎么处理
  9. 种的函数调用类的字段好，还是调用类的属性好