日期:2014-05-16  浏览次数:20938 次

如何下载带有动态加载内容的网页
在程序中需要下载网页的内容,通常使用如下方法即可完成要求
System.Net.WebClient aWebClient = new System.Net.WebClient();
aWebClient.Encoding = System.Text.Encoding.Default;
html = aWebClient.DownloadString(url);

现在的问题是,对于有些使用AJAX技术动态加载内容的网页,则无法下载到完全的内容。
不知道这种问题一般的解决思路是什么,还望大家不吝赐教。
------解决方案--------------------
由js动态生成的内容需要winform的webbrowser来解析后才能获取到,蜘蛛程序无法获取到动态生成的内容

参考:Ajax WebSpider网络爬虫