如何抓取其他网站信息进数据库
刚接了一个酒水交易平台的项目,类似这种网站http://www.js178.com/
网站一旦做好没有数据肯定不会吸引人来,所以想从其他网站上抓取一些供求信息,有用的信息放到我的网站上。
谁有类似这种网站的源码,请发给我一份。谢谢
如何抓取其他网站上的信息?
------解决方案--------------------去网上搜索下“信息采集器”,这类工具可以采集很多信息,找到一个需要花点时间学习下怎么用就是了。。。
------解决方案--------------------采集器:火车头
------解决方案--------------------支持下
------解决方案--------------------这个工具好多,网络爬虫、蜘蛛什么的
------解决方案--------------------
httpwebrequest抓取页面数据
webclient
System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
System.Net.WebResponse response = request.GetResponse();
System.IO.Stream resStream = response.GetResponseStream();
System.IO.StreamReader sr = new System.IO.StreamReader(resStream, encoding);
string content= sr.ReadToEnd();
resStream.Close();
sr.Close();