日期:2014-05-17  浏览次数:20491 次

求PHP支持UTF8的“分词”程序,急......
我现在想做个查询的检索,但输入时需要对输入的文字进行“分词”,各位高手有没有对检索,分词好一点的源程序(支持utf-8),提供给在下,在下不胜感激!

------解决方案--------------------
如果是虚拟主机的话可以用织梦分词算法V1.0
http://www.dedecms.com/html/chanpinxiazai/20061229/3.html

如果你有自己的服务器可以考虑安装PHP的扩展SCWS - 简易中文分词系统
http://www.hightman.cn/index.php?scws
------解决方案--------------------
UTF8本身做分词是不实际的,因为它是万国码,所以是不可能的,如果你以中文为主的,你就使用中文的分词,如织梦的分词类,然后分词前先把UTF8转为gbk,分好后再转回utf-8,相对于分词本身而言,这个转换时间是很轻微的