日期:2014-05-17  浏览次数:20677 次

httpclient 4抓取网页
客户需求,让抓一个比较特殊的网页,登录此网站需要一个USB KEY(此KEY和KEY的密码客户已经提供)。
那么用httpclient去抓取这个页面的时候抓取结果是“登陆超时,请重新登录”这个页面。
此页面不需要输入任何数据,如果把URL复制到浏览器中是可以正常访问的。

流程是这样:登录首页(需要USB KEY) --- 页面A --(取得页面A中的一条数据ID,这个ID是拼接在URL中的)-- 页面B

需要用代码抓取页面B中的数据。
 
这种情况下用httpclient怎么处理??
 
谢谢各位!!!

------解决方案--------------------
探讨
我刚刚试了一下,登录成功后拔掉USB KEY也是可以正常操作的……