php兑现自动获取生成关键词功能
日期：2014-05-17 浏览次数：20559 次
php实现自动获取生成关键词功能
以前写程序一直在逃避这个问题，tag什么的都是要求使用程序的人自行输入，对于某些懒人及为了程序的体验，则是希望可以有自动生成文章关键词，自动获取文章tag的类似功能，这次为了迎接新的项目，所以捣鼓了一晚上，研究了一下这个功能。
要实现自动获取关键词的功能，大概可以分成三步
1，通过分词算法将标题和内容分别进行分割，提取出关键词和频度。当前主要的两个算法是中科院的ICTCLAS和隐马尔可夫模型。但这两个都太高端，有一定的门槛，且都是只支持C++/JAVA。基于PHP的当前有两个是值得推荐的PSCWS和HTTPCWS。 SCWS于2008-03-08发布1.0.0 正式版，到现在最新版本已经到了1.0.4。PSCWS是它的PHP版。而HTTPCWS是张宴开发的，之前叫PHPCWS。PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。不过很遗憾目前仅支持Linux系统，尚未移植到win平台上。
2，将提取结果与现有词库进行比较，处理，去除无用的词得到最符合规则的关键词。这里主要就是要看词库了，我们可以自己定义词库，也可以使用现有的成熟词库。比如新浪和网易博客都有这个功能,。他们分词应该有不错的词库，因为他们都是大网站，而我呢，区区一个小程序员，不可能搞到什么权威的词库，所以只能从现有的开源程序上入手，看看他们的词库。
3，在处理后的提取结果中选择适当的作为最终的关键词，得到最符合当前内容的关键词，在这个阶段就是具体情况具体分析了，无论如何也不可能达到人的那种智能化。最多是。当前PHP类CMS都自有自己的提取关键词系统。
目前在网络上流传最广的是DEDECMS的分词源码，我做了测试，发现相当的呆，效果很不好。它先设置一个关键词长度，确定获取关键词的数量，然后取词，它认为标题分好的词就是所需关键词，在加上从正文中读取关键词只到达到这个所设置的长度，就是最终关键词了。另外类似“我们”等无意义的词也没有去除掉提取并被列为关键词的频率太高，甚至有时候还会把空格的HTML提出来做为关键词，亟待改进。不过如果作为辅助功能，它已经很好了。而discuz的稍微好一些，但是discuz并没有提供源码，只是提供了一个在线api。
而dede的分词也有好几个版本，最好的应该是最新版的吧，出现频率什么都有了，下面就以dede5.7的分词和discuz的api的结果对比下
测试例子：
一、dede分词
将结果排序后如下
以前写程序一直在逃避这个问题，tag什么的都是要求使用程序的人自行输入，对于某些懒人及为了程序的体验，则是希望可以有自动生成文章关键词，自动获取文章tag的类似功能，这次为了迎接新的项目，所以捣鼓了一晚上，研究了一下这个功能。
要实现自动获取关键词的功能，大概可以分成三步
1，通过分词算法将标题和内容分别进行分割，提取出关键词和频度。当前主要的两个算法是中科院的ICTCLAS和隐马尔可夫模型。但这两个都太高端，有一定的门槛，且都是只支持C++/JAVA。基于PHP的当前有两个是值得推荐的PSCWS和HTTPCWS。 SCWS于2008-03-08发布1.0.0 正式版，到现在最新版本已经到了1.0.4。PSCWS是它的PHP版。而HTTPCWS是张宴开发的，之前叫PHPCWS。PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。不过很遗憾目前仅支持Linux系统，尚未移植到win平台上。
2，将提取结果与现有词库进行比较，处理，去除无用的词得到最符合规则的关键词。这里主要就是要看词库了，我们可以自己定义词库，也可以使用现有的成熟词库。比如新浪和网易博客都有这个功能,。他们分词应该有不错的词库，因为他们都是大网站，而我呢，区区一个小程序员，不可能搞到什么权威的词库，所以只能从现有的开源程序上入手，看看他们的词库。
3，在处理后的提取结果中选择适当的作为最终的关键词，得到最符合当前内容的关键词，在这个阶段就是具体情况具体分析了，无论如何也不可能达到人的那种智能化。最多是。当前PHP类CMS都自有自己的提取关键词系统。
目前在网络上流传最广的是DEDECMS的分词源码，我做了测试，发现相当的呆，效果很不好。它先设置一个关键词长度，确定获取关键词的数量，然后取词，它认为标题分好的词就是所需关键词，在加上从正文中读取关键词只到达到这个所设置的长度，就是最终关键词了。另外类似“我们”等无意义的词也没有去除掉提取并被列为关键词的频率太高，甚至有时候还会把空格的HTML提出来做为关键词，亟待改进。不过如果作为辅助功能，它已经很好了。而discuz的稍微好一些，但是discuz并没有提供源码，只是提供了一个在线api。
而dede的分词也有好几个版本，最好的应该是最新版的吧，出现频率什么都有了，下面就以dede5.7的分词和discuz的api的结果对比下
测试例子：
- $title="THINKPHP官方即将停止对2.0版本的支持";
- $body="了更好地做好ThinkPHP框架的开发、维护和支持工作，官方宣布从2012年5月1日起s对2.0及之前版本的维护和支持，为了节能低碳考虑，同时也取消官网的相应版本和文档下载。
- 就此缅怀那些年，曾经一起开发的ThinkPHP版本吧！
- 关于ThinkPHP 2.0版本
- ThinkPHP 诞生于2006年，致力于WEB应用的快速开发，其2.0版本发布于2009年10月1日 ，在之前的1.*版本上完成新的重构和飞跃，当时是一次划时代的版本，为新版奠定了基础，同时也积累了较多的用户群和网站，随着框架的快速更新，和新版 2.1、2.2和3.0版本的陆续发布，预示着ThinkPHP的3.0时代到来了，2.0的生命周期宣告结束。但基本上2.0的很多功能都延续或者完善到2.1版本中了，从2.0版本升级到2.1和2.2版本也相对轻松。2.2版本是2.*版本的最终版本，不再更新功能，仅做BUG修复。";
一、dede分词
将结果排序后如下
- 标题Array
- (
- [THINKPHP] => 1
- [官方] => 1
- [即将] => 1
- [停止] => 1
- [对] => 1
- [2.0] => 1
- [版本] => 1
- [的] => 1
- [支持] => 1
- )
- 内容Array
- (
免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
