使用C#与正则表达式分析hao123.com的网址列表

最近需要一些对网址的分类，来检测本地用户上网的习惯，这样我们就需要一些域名的分类，首先我们就想到了www.hao123.com

通过这个分析，大家可以了解到C#获取网页源代码、调用正则表达式的一些简单方法

以及一些使用中的技巧。

1、获取网页源代码

为了方便，我们在这里直接写成函数的形式，如下：

static string GetSource(string PageUrl) { WebRequest request = WebRequest.Create(PageUrl); //WebRequest.Create方法，返回WebRequest的子类HttpWebRequest WebResponse response = request.GetResponse(); //WebRequest.GetResponse方法，返回对 Internet 请求的响应 Stream resStream = response.GetResponseStream(); //WebResponse.GetResponseStream 方法，从 Internet 资源返回数据流。 Encoding enc = Encoding.GetEncoding("GB2312"); // 如果是乱码就改成 utf-8 / GB2312 StreamReader sr = new StreamReader(resStream, enc); //命名空间:System.IO。 StreamReader 类实现一个 TextReader (TextReader类，表示可读取连续字符系列的读取器)，使其以一种特定的编码从字节流中读取字符。 string source = sr.ReadToEnd(); //输出(HTML代码)，ContentHtml为Multiline模式的TextBox控件 resStream.Close(); sr.Close(); return source;//返回源代码字符串 }使用上面的代码可以解决大多数问题，在有的时候会发现获取的源代码和浏览器看到的不一样，这时候就需要用UA来处理。

2、建立一个网址类

这个很简单

class Page { public string Url; public string Class; }
3、获取hao123.com的主页源代码

使用第一步中的函数分析www.hao123.com，得到源代码source。

通过对网页的分析，我们可以看出hao123主要的网址分布在右侧的列表部分，如下图

通过这个列表就基本可以分析出我们想要的分类网址了

因为点击前面的绿色字可以进入详细列表，我们对这个绿色字的源代码进行分析，发现是：

<span class="box-sort_title"><a href="http://v.hao123.com/movie/">影 视</a></span>

而且是有且仅有这样子的才是分类列表的入口，所以我们就可以用这段字符串作为我们的模板进行分析：

4、正则表达式分析：

我们需要的是a href="后面的链接和链接后面的标题，在此，我们把他们改成(.*?)，即

<span class="box-sort_title"><a href="(.*?)">(.*?)</a></span>

.*表示任意字符串 ?表示非贪心处理 两边的括号表示我们需要在下面用到它。

通过这样的处理，在正则表达式分析后我们就可以得到网址和对应的分类：

//*******************获取分类列表部分******************** List<Page> ClassPages = new List<Page>(); string strReg = "box-sort_title\"><a href=\ <div class="clearfix"></div> </div> <nav aria-label="..."> <ul class="pager"> <li class="previous"><a href="74992">上一篇：Ftp.dll操作上传FTP文件</a></li> <li class="next"><a href="23414">下一篇： 一个简略的测试框架(C#版) </a></li> </ul> </nav> <div class="alert alert-warning" role="alert"> <strong>免责声明：</strong> 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。 </div> <div class="panel panel-default"> <div class="panel-heading"> <h3 class="panel-title">相关资料<span><a target="_blank" class="pull-right" href="/csharp/">更多></a></span></h3> </div> <div class="panel-body row"> <ol> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/4776' title=' 因网速慢，多次点击造成数据重复，该怎么防止 ' target="_blank"> 因网速慢，多次点击造成数据重复，该怎么防止 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/63983' title=' linq 返回多值有关问题 ' target="_blank"> linq 返回多值有关问题 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/46250' title=' WinForm运行时：Debug下正常，Release出错！解决方案 ' target="_blank"> WinForm运行时：Debug下正常，Release出错！解决方案 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/28205' title=' windows mobile 的小疑点 ' target="_blank"> windows mobile 的小疑点 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/12781' title=' Win7上Socket服务端通信错误退出 ' target="_blank"> Win7上Socket服务端通信错误退出 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/57882' title=' 在.net中用语句动态创建数据库有关问题 ' target="_blank"> 在.net中用语句动态创建数据库有关问题 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/6755' title=' 这个存储过程如何写?求高人指点 ' target="_blank"> 这个存储过程如何写?求高人指点 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/50020' title=' GridView 邦定数据源后如何取某个行的某个字段（关键字字段） ' target="_blank"> GridView 邦定数据源后如何取某个行的某个字段（关键字字段） </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/5133' title=' C#serialport串口在发送数据时，界面假死（） ' target="_blank"> C#serialport串口在发送数据时，界面假死（） </a></li></div> </ol> </div> </div> </div> <div class="col-lg-4 hidden-sm hidden-xs"> <!--右边的内容--> <a id="AdPageRight1_AdPageRight" href="http://www.tdyun.com/make/?aiyiweb" target="_blank"><img class="img-responsive" src="/images/TdPageAd/oneweb.png" alt="网站建设一条龙 做网站 网站制作 网站定制 企业网站设计 特价" /></a> <script src='/Scripts/AdContentPage300_1.js' language='javascript'></script> <script src='/Scripts/AdContentPage300_2.js' language='javascript'></script> <script src='/Scripts/AdContentPage300_3.js' language='javascript'></script> <div class="panel panel-default"> <div class="panel-heading"> <h3 class="panel-title">推荐阅读<span><a target="_blank" class="pull-right" href="/csharp/">更多></a></span></h3> </div> <div class="panel-body"> <ol> <li class="articleAbout"><a href=/csharp/46195 title=' 现在做了一个网站想整合一个论坛进来!请大家给推荐个好点的功能齐全的论坛,最好是有代码开源的那种!方便网站登录和论坛登录的统一解决办法 ' target="_blank"> 现在做了一个网站想整合一个论坛进来!请大家给推荐个好点的功能齐全的论坛,最好是有代码开源的那种!方便网站登录和论坛登录的统一解决办法 </a></li> <li class="articleAbout"><a href=/csharp/25347 title=' 安装程序类 Installer 有关问题 ' target="_blank"> 安装程序类 Installer 有关问题 </a></li> <li class="articleAbout"><a href=/csharp/16599 title=' ModelBuilder 的命名空间是哪个？解决办法 ' target="_blank"> ModelBuilder 的命名空间是哪个？解决办法 </a></li> <li class="articleAbout"><a href=/csharp/74856 title=' 中文新闻信息置标语言 GB/T 20092-2006解决思路 ' target="_blank"> 中文新闻信息置标语言 GB/T 20092-2006解决思路 </a></li> <li class="articleAbout"><a href=/csharp/74067 title=' datagrilview C#该如何处理 ' target="_blank"> datagrilview C#该如何处理 </a></li> <li class="articleAbout"><a href=/csharp/66901 title=' 多线程扫描IP （求见教） ' target="_blank"> 多线程扫描IP （求见教） </a></li> <li class="articleAbout"><a href=/csharp/29971 title=' html语句中，window.open的条件语句如何写 ' target="_blank"> html语句中，window.open的条件语句如何写 </a></li> <li class="articleAbout"><a href=/csharp/7891 title=' 两个窗体都包含一样的groupbox和groupbox中的控件，怎么方便的传值 ' target="_blank"> 两个窗体都包含一样的groupbox和groupbox中的控件，怎么方便的传值 </a></li> <li class="articleAbout"><a href=/csharp/29039 title=' 新手问一下这句话的意思解决方案 ' target="_blank"> 新手问一下这句话的意思解决方案 </a></li> <li class="articleAbout"><a href=/csharp/38869 title=' 解读这种文本文件有什么美的方法 ' target="_blank"> 解读这种文本文件有什么美的方法 </a></li> <li class="articleAbout"><a href=/csharp/22834 title=' 请问一上C#调用COM的有关问题 ' target="_blank"> 请问一上C#调用COM的有关问题 </a></li> <li class="articleAbout"><a href=/csharp/22429 title=' socket 怎么设置心跳判断连接 ' target="_blank"> socket 怎么设置心跳判断连接 </a></li> <li class="articleAbout"><a href=/csharp/52334 title=' C#读.exe文件的简单有关问题 ' target="_blank"> C#读.exe文件的简单有关问题 </a></li> <li class="articleAbout"><a href=/csharp/73100 title=' 想创业，却找不到切入点(人在深圳)解决办法 ' target="_blank"> 想创业，却找不到切入点(人在深圳)解决办法 </a></li> <li class="articleAbout"><a href=/csharp/68205 title=' 一个相助站长管理网站信息的小工具，欢迎体验 ' target="_blank"> 一个相助站长管理网站信息的小工具，欢迎体验 </a></li> <li class="articleAbout"><a href=/csharp/57819 title=' winform子窗体向父窗体多次传值不知道怎么处理，请大家帮助看一下 ' target="_blank"> winform子窗体向父窗体多次传值不知道怎么处理，请大家帮助看一下 </a></li> <li class="articleAbout"><a href=/csharp/402 title=' 请教一些关于查询数据库的操作 ' target="_blank"> 请教一些关于查询数据库的操作 </a></li> <li class="articleAbout"><a href=/csharp/42140 title=' 关于用C#写入Word文件的有关问题，请大家帮帮忙 ' target="_blank"> 关于用C#写入Word文件的有关问题，请大家帮帮忙 </a></li> <li class="articleAbout"><a href=/csharp/42504 title=' 为什么小弟我将窗体的AutoScroll属性设置为False了，窗体里面的控件还是可能会上移 ' target="_blank"> 为什么小弟我将窗体的AutoScroll属性设置为False了，窗体里面的控件还是可能会上移 </a></li> <li class="articleAbout"><a href=/csharp/30521 title=' picturebox怎么全屏 ' target="_blank"> picturebox怎么全屏 </a></li> </ol> </div> </div> </div> </div> <div class="clearfix"></div> <footer class=" footer navbar-bottom"> <em>友情链接：</em> <a href="http://www.aiyiweb.com/" target="_blank">爱易网 </a> <a href="http://www.aiyiweb.com/" target="_blank">云虚拟主机技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">云服务器技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">程序设计技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">开发网站 </a> <a href="http://www.aiyiweb.com/" target="_blank">APP开发教程 </a> <br /> <script type="text/javascript">(function(){document.write(unescape('%3Cdiv id="bdcs"%3E%3C/div%3E'));var bdcs = document.createElement('script');bdcs.type = 'text/javascript';bdcs.async = true;bdcs.src = 'http://znsv.baidu.com/customer_search/api/js?sid=15239353030108964139' + '&plate_url=' + encodeURIComponent(window.location.href) + '&t=' + Math.ceil(new Date()/3600000);var s = document.getElementsByTagName('script')[0];s.parentNode.insertBefore(bdcs, s);})();</script> Copyright © 2013-2024 爱易网页 当前在线：827人　 网站在4时15分20秒内访问总人数：70327人 当前 11.91% 　<a href="https://beian.miit.gov.cn" target="_blank">粤ICP备18100884号-2 </a> <script charset="UTF-8" id="LA_COLLECT" src="//sdk.51.la/js-sdk-pro.min.js"></script> <script>LA.init({ id: "JszEmKrtpbU59dY5", ck: "JszEmKrtpbU59dY5" })</script> </footer> </div> </body> </html>