HttpClient模拟ajax提交
这几天开始做一些爬虫方面的东西，但是在解析页面是碰到了分页数据的爬取问题，如果分页是get方式的url还好，但是如果是Post方式的ajax提交那就感觉比较纠结
思路：
因为是post所以首先想到使用Post的参数方式来做：

public String doHttpSend(String keyWord,String searchType,int pageNum) throws Exception
	{
		PostMethod method = null;
		try
		{
			HttpClient client = getHttpClient();
			method = new PostMethod(SEARCH_URL);
			
			method.addRequestHeader("connection","keep-alive");

			NameValuePair[] params = new NameValuePair[]{
					new NameValuePair("keyWord",keyWord),
					new NameValuePair("page",String.valueOf(pageNum))
					};
                           method.addParameters(params);
			int statusCode = client.executeMethod(method);
			
			if(statusCode != HttpStatus.SC_OK)
			{
				return null;
			}
			
			System.out.println(method.getResponseBodyAsString());
			return method.getResponseBodyAsString();
			
		}
		finally
		{
			if(null != method)
			{
				method.releaseConnection();
			}
		}
	}

但是发现该方法实现发送后，获得的结果总是"System.NotSupportedException"；
刚开始以为是Header设置不对，用工具对比后发现header信息基本一直，但是参数格式却是不一样的，比如当前方式的参数格式最终为"param1=value1&param2=value2",而页面上ajax提交的参数确实json格式的字符串；
于是，就修改参数的构造方式：
首先构造json格式的字符串 如：String param ="{\"keyWord\":"+keyWord+",\"page\":"+pageNum+"}",而不能使用NameValuePair来传递参数
再设置参数到method : method.setRequestBody(param);

这样就可以成功得到ajax返回的数据了，该方法同样适用于asp的异步方法，已经过验证;但是如果使用NameValuePair如何才能解决ajax问题呢，还有待研究!