日期:2014-05-17 浏览次数:20640 次
经过上一遍contentType流程 介绍后,现在进入具体的针对html文档的解析过程介绍。
?
在ParseUtil#getParse()中,? 当选定一种parser(? 这里是HtmlParser)后,便 进入到对应 的getParse方法中。
大概步骤是:
1.猜测页面的最佳编码;
2.解析页面中特定的meta,如robots,base等元数据;
3.检查是否可以index或follow(fetch outlinks)
4.处理redir问题;
5.调用html pares filters进行对html的进一步过滤 。注意这个步骤是不太重要的,而且针对这个默认只有parse-js插件可用。当然还有parse-microformats,parse-creativecommons等可用。
6.检查页面是否可以cache。其实 这个就是在输出内容到页面时,是否打开快照的依据呀。
?
?