网页优化问题，发言有份
我在页面做了两个测试，
一个是用gridview展示数据，有默认分页，但爬虫或蜘蛛只能爬到第一页的数据
二是查询所有数据，只在页面显示10条，只能爬到10条的数据

我用的是http://www.webconfs.com/search-engine-spider-simulator.php 来爬的

如何才能爬到所有查询的数据呢？我想把每一页的数据全都爬到，如何优化啊？？？

------解决方案--------------------
url分页
------解决方案--------------------
http://www.webdiyer.com/Controls/AspNetPager/PagingMode

http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx
------解决方案--------------------
一般想做SEO的优化，都是要做A标签的分页，一般才可以让爬虫全部抓到~
------解决方案--------------------
发言有份 ..............
------解决方案--------------------
只为发言有份而来。。
------解决方案--------------------

探讨

引用:

http://www.webdiyer.com/Controls/AspNetPager/PagingMode

http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx


给的例子很详细了，但是我用
http://www.webconfs.com/search-en……

------解决方案--------------------
url分页
发言有分啊
------解决方案--------------------
GridView分页那里你注意下是JavaScript 。。而不是实实在在的 链接，爬虫当然不会抓取下去，你要是想放在前台展示让搜索引擎收录到的话 分页就要自己写，把分页样式那换成 <a href=""></a>
------解决方案--------------------
另外GridView的内置分页确实样子比较单一。。在后台用用就算了，页面上的分页自己写下吧
------解决方案--------------------
url 分页
------解决方案--------------------
没错，就是URL分页，把每一页的详细地址呈现给蜘蛛。
------解决方案--------------------
实现静态分页 对你的列表页的每行标题和图片做优化 <a>也要做
------解决方案--------------------

探讨

GridView分页那里你注意下是JavaScript 。。而不是实实在在的 链接，爬虫当然不会抓取下去，你要是想放在前台展示让搜索引擎收录到的话 分页就要自己写，把分页样式那换成 <a href=""></a>