日期:2014-05-18  浏览次数:20799 次

C#如何实现网页内容的抓取。
最近做个项目,想实现这样一个功能:用户输入一个词条,如果百度百科用,就提取百度百科的词条然后显示出来,否则提示用户创建该词条。

  这就涉及到网络爬虫的问题,求教。
  有现成的库用么?

------解决方案--------------------
webbrowser
------解决方案--------------------
建议还是学一下http协议吧, 很简单的。

我个人喜欢用socket, 当然也可以使用封装好的webrequest
------解决方案--------------------

WebClient client = new WebClient();
client.Credentials = CredentialCache.DefaultCredentials;
resStream = client.OpenRead(pageUrl);
sr = new StreamReader(resStream, System.Text.Encoding.UTF8);
strHtml = sr.ReadToEnd();
resStream.Close();
sr.Close();

这样就可以抓到了