日期:2014-05-18  浏览次数:20760 次

诚心求教关于抓取网页文字内容及图片的问题
其实就是想写一个网络蜘蛛,比方说http://ent.163.com/09/0428/00/57UPHFP900032KMI.html 这个网页, 我想抓取网页的标题,图片,图片标题,然后还有文字内容,然后存在数据库里面,

我尝试使用了正则表达式,这个对于抓取标题跟图片没什么问题,但是想要抓取图片标题以及正文内容的时候就不灵光了,首先html本身就有许多模板,正则匹配了这种却匹配不了那种,而且不同的网站模式也不同,图片及文字的位置也不同,总也抓不对,小弟觉得这是个算法问题,以前曾听说帝国CMS好像能解析许多网站,觉得这个应该可以实现,哪位牛人能给指点一下,不知道是不是得从html本身出发

------解决方案--------------------
C#实现web信息自动抓取
背景
 
随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。
 
信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此Internet信息抓取程序应运而生。
 
目标
 
实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。
 
开发
 
l 目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析,写出单独的配置文件,供抓取程序使用。
 
l 信息提取
根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:
//获取http页面函数
C# code
public string Get_Http(string a_strUrl,int timeout)
        {
            string strResult ;         
 
            try
            {
HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;
                myReq.Timeout = timeout;
                HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
            
                Stream myStream = HttpWResp.GetResponseStream () ;
 
                StreamReader sr = new StreamReader(myStream , Encoding.Default);
                StringBuilder strBuilder = new StringBuilder();
                while (-1 != sr.Peek())
                {
                    strBuilder.Append(sr.ReadLine()+"\r\n");
                }
 
                strResult = strBuilder.ToString();
            }
            catch(Exception exp)
            {
                strResult = "错误:" + exp.Message ;
            }
 
            return strResult ;
 
        }