C#如何实现网页内容的抓取。
最近做个项目,想实现这样一个功能:用户输入一个词条,如果百度百科用,就提取百度百科的词条然后显示出来,否则提示用户创建该词条。
这就涉及到网络爬虫的问题,求教。
有现成的库用么?
------解决方案--------------------webbrowser
------解决方案--------------------建议还是学一下http协议吧, 很简单的。
我个人喜欢用socket, 当然也可以使用封装好的webrequest
------解决方案--------------------
WebClient client = new WebClient();
client.Credentials = CredentialCache.DefaultCredentials;
resStream = client.OpenRead(pageUrl);
sr = new StreamReader(resStream, System.Text.Encoding.UTF8);
strHtml = sr.ReadToEnd();
resStream.Close();
sr.Close();
这样就可以抓到了