日期:2014-05-17  浏览次数:20689 次

提取html内容放入xml文件时空格问题

由于项目的需要,将网站上的信息抓取下来,提取出想要的信息,然后保存在xml文件里,再将xml文件上传一服务器,这个过程中,我想将原来网页上的信息的换行和空格标签保存在xml文件里去,但是直接将<br>标签放在xml文件里,显然不行,因为在xml文件里会当作xml标签,所以我就将<替换为&lt;而>就替换为&gt;这样就可以与xml的标签区分开来,但是空格&nbsp;放在xml文件里竟然有问题,xml解析它时会抛出如下异常:

org.xml.sax.SAXParseException: The entity "nbsp" was referenced, but not declared.?


?

后来看了下面的文件后,就将&nbsp;改为&#160; 这样可以让xml解析器解析正确,在myeclipse下调试,看到的串显示也是正确的,不过用System.out.println()打印出来会在有&#160;的地方显示三个问号,我再根据下面的文章,将这个串用replaceAll("\240$", "&nbsp;")方法替换回空格,再存放数据库,但是我这里不行,还是显示出三个问题,后来再查了一下,原来将&nbsp;替换为&amp;nbsp;然后写入xml文件,后面由xml解析器解析出来的就成了nbsp;也正是我想要的空格,可以直接放入数据库中去。

?

?

参考:

奇怪的编码,奇怪的显示——一个关于&nbsp;的故事

我们常常会解析html,解析html通常来说有两种方法,其一是直接对html进行解析,其二是将html转换到xml再解析。因为学习成本的关系,越来越倾向于使用后者来实现。第二种方法一个常用的工具就是:neko html parser,他将html转换到xml,又使用了Xerces2进行xml操作。?

于是问题开始了,在html中的&符号表示的一些特别意义,在xml中往往没有定义,比如今天我要讲的&nbsp; 他在html中表示non-breaking space,但是你不能用同样的方式在xml中表示,因为xml中&开头表示,可解析的实体,这个实体被DTD预先定义,而&nbsp;并没有被定义,所有如果用Xerces2来解析出现这样字符的xml文件(当然,这里假设你也没有自己预先定义),会抛出如下异常:?
org.xml.sax.SAXParseException: The entity "nbsp" was referenced, but not declared.?
一般给出如下的解决方案:使用&#160; 这又是什么道理呢?因为这是HTML ISO-8859-1 Reference 定义的规范,如下:?
Character Entity Number Entity Name Description?
?????????? &#160;? &nbsp; non-breaking space?
neko html parser也这是使用的这样的方案,所以当解析这样一句html的时候:?
<td>?
??? big black bear bit back the big black bug.&nbsp;?
</td>?

就bei neko html parser替换成了?

<td>?
??? big black bear bit back the big black bug.&#160;?
</td>?

如果这样就完了,就不会有今天这篇文章了。?
但是替换之后,通过xml解析输出,显示的不是一个空格而是一个 ?,最要人命的地方了是这个?并不是ascii 中的063d。所以当我们通过getTextContent()方法的时候,我们得到的是:?
big black bear bit back the big black bug.??

在实际应用中,当然需要出去这个?,于是我们打算使用replaceAll("\\?$", "")来替换掉这个?,但是你错了,你被你的眼睛骗了,这时你会发现根本不起作用你应该是用replaceAll("\240$", ""),240是160的八进制数。?

?

后记:

原来让xml不解析大小于号等xml关键字符,可以用:

?

CDATA 部分中的所有内容都会被解析器忽略。

CDATA 部分由 "<![CDATA[" 开始,由 "]]>" 结束:

详见:http://www.w3school.com.cn/xml/xml_cdata.asp

?