请问,怎样获取下一个网页的地址
要抓取数据,
怎样,模拟点击网页上的某个控件,然后,到达下一个网页,获取到下一个网页的地址呢?要获取下一个网页的数据
------解决方案--------------------问题太笼统。思路就是在当前网页的html中找到指向下一页的url,可以使用dom或者正则表达式。
------解决方案--------------------用抓包工具看下,post到相关url,然后用html解析器获取另一个url,再次请求,基本上是这样。
------解决方案--------------------有些网址是生成的,例如提交后后生,或者js生成,所以这些url不怎么好抓,不过说到底都是get或者post请求,你可以用一些请求监视工具来查看是这些提交什么的参数才可以生成这些。