禁止百度抓取的指定的几个动态页面。如何设置
日期：2014-05-17 浏览次数：20419 次
禁止百度抓取的指定的几个动态页面。怎么设置？
比如以下页面 不让抓取
http://www.x.cn/do/showsp.php?fid=95&id=515
http://www.x.cn/do/showsp.php?fid=13&id=101
http://www.x.cn/topic/13/389.html
http://www.x.cn/member/info.php?job=edit
------解决方案--------------------
1、编辑robots.txt文件，设计标记为:
User-agent: Baiduspider
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3:参考一下资料 百度自己的提供的屏蔽方法
http://help.baidu.com/question?prod_en=search&class=%BD%FB%D6%B9%CB%D1%CB%F7%D2%FD%C7%E6%CA%D5%C2%BC%B5%C4%B7%BD%B7%A8
http://forum.zhongsou.net/37/20120817/6376375.html
比如以下页面 不让抓取
http://www.x.cn/do/showsp.php?fid=95&id=515
http://www.x.cn/do/showsp.php?fid=13&id=101
http://www.x.cn/topic/13/389.html
http://www.x.cn/member/info.php?job=edit
------解决方案--------------------
1、编辑robots.txt文件，设计标记为:
User-agent: Baiduspider
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3:参考一下资料 百度自己的提供的屏蔽方法
http://help.baidu.com/question?prod_en=search&class=%BD%FB%D6%B9%CB%D1%CB%F7%D2%FD%C7%E6%CA%D5%C2%BC%B5%C4%B7%BD%B7%A8
http://forum.zhongsou.net/37/20120817/6376375.html
免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
