转载请注明出处！

原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006

有时候由于种种原因，我们需要采集某个网站的数据，但由于不同网站对数据的显示方式略有不同！

本文就用Java给大家演示如何抓取网站的数据：（1）抓取原网页数据；（2）抓取网页Javascript返回的数据。

一、抓取原网页。

这个例子我们准备从http://ip.chinaz.com上抓取ip查询的结果：

第一步：打开这个网页，然后输入IP：111.142.55.73，点击查询按钮，就可以看到网页显示的结果：

第二步：查看网页源码，我们看到源码中有这么一段：

从这里可以看出，查询的结果，是重新请求一个网页之后显示的。

再看看查询之后的网页地址：

也就是说，我们只要访问形如这样的网址，就可以得到ip查询的结果，接下来看代码：

public void captureHtml(String ip) throws Exception {
	String strURL = "http://ip.chinaz.com/?IP=" + ip;
	URL url = new URL(strURL);
	HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
	InputStreamReader input = new InputStreamReader(httpConn
			.getInputStream(), "utf-8");
	BufferedReader bufReader = new BufferedReader(input);
	String line = "";
	StringBuilder contentBuf = new StringBuilder();
	while ((line = bufReader.readLine()) != null) {
		contentBuf.append(line);
	}
	String buf = contentBuf.toString();
	int beginIx = buf.indexOf("查询结果[");
	int endIx = buf.indexOf("上面四项依次显示的是");
	String result = buf.substring(beginIx, endIx);
	System.out.println("captureHtml()的结果：\n" + result);
}

这里我只是随便的解析了一下，要解析的非常准确的话自己需再处理。

解析结果如下：

captureHtml()的结果：
查询结果[1]: 111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市 移动</strong><br />  

二、抓取网页JavaScript返回的结果。

有时候网站为了保护自己的数据，并没有把数据直接放在网页源码中返回，而是采用异步的方式，用JS返回数据，这样可以避免搜索引擎等工具对网站数据的抓取。

首先看一下这个网页：

用第一种方式查看该网页的源码，却没有发现该运单的跟踪信息，因为它是通过JS的方式获取结果的。

但有时候我们很需要获取到JS的数据，这个时候要怎么办呢？

这个时候我们需要用到一个工具：HTTP Analyzer，这个工具可以截获Http的交互内容，我们通过这个工具来达到我们的目的。

首先点击Start按钮之后，它就开始监听网页的交互行为了。

我们打开网页：http://www.kiees.cn/sf.php ，可以看到HTTP Analyzer列出了所有该网页的请求数据以及结果：