Mozilla FireFox Gecko内核源代码解析

（4.nsHTMLTokens）

中科院计算技术研究所网络数据科学与工程研究中心

信息抽取小组

耿耘

gengyun@sohu.com

之前我们分析了nsHTMLTokenizer（详见其解析篇），其中我们了解到了，其中设计了如何配合 nsScanner对输入流循环地解析流程，如怎么进行回溯等流式操作。实际上其中并没有包含具体的字符比对，以及正则表达式匹配等工作。同时也没有具体地声明“哪些HTML标签才是合法的标签”等具体信息。

而这些信息实际上都包含在了nsHTMLTokens这个文件中。在这个文件中除了对HTML中常见的各种Tag和他们最后生成的Token进行了一一的对应，并且对Tokens的类型，名称，状态，结构等进行了定义。并且对于一些类型的Token，都提供了相应的Consume方法，该种方法就是提供给在nsHTMLTokenizer中所调用的，真正对相应的Token所对应的HTML文本进行解析的方法。

通过学习这个nsHTMLTokens，还可以对Mozilla所推出的HTML标准进行了解，可以知道它都包含什么样的Tokens，哪些Tokens是合法的，以及他们的属性都是如何在浏览器中存储的。

首先，我们来看它的头文件nsHTMLTokens.h，其中包含了哪些声明和定义，这个头文件比较长，因此我们对其的内容逐个进行解析

首先来看他在文件头写下的一段注释：

这个文件中包含了我们的HTML Token的类型定义，这个定义能够被我们的DTD所理解。实际上，这一套Token定义也可以用于XML解析。目前我们拥有文本，注释，起始型标签，结束型标签，实体，属性，样式，脚本以及省略内容，这些个类型的Tokens。空格和换行符同样拥有他们所对应的Token，但是它们在未来的版本中可能会被消除掉。

如果你想查看HTML的标签定义，请查看叫做nsHTMLTags.h/cpp的文件。

大部分的Token类型都有相似的API。他们都有获取Token类型的方法（GetTokenType）；那些代表HTML Tag的Tokens还有一个获取tag类型的方法（GetTypeID）。另外，大部分的Token都有一个在解析流程中帮助它们自己进行解析的调用方法（Consume）。我们同样还提供了一些调试用的代码。