什么是中文分词，搜索引擎中文分词算法解读

什么是，中文分词算法解读，在国内，多数工作都是针对中文做的。由于中文搜索引擎都是基于“搜索引擎系统的词典”作为排名算法处理的基础，通过深入研究搜索引擎的中文分词算法对于网站的优化（尤其是标题优化）具有重大的帮助意义！，SEOer们对中文分词技巧的掌握也是尤为重要的一门功课！下面Ian就根据个人理解并通过实际案例来分析介绍下搜索引擎是如何通过中文分词将用户的“搜索句”拆分并匹配“搜索引擎系统的词典”

一、字符串匹配分词算法

这种分词算法是机器将一句话拆分成多个字符串，然后通过字符串中的单词进行匹配组合！通常这类分词算法有推火网以下4种情况，本文将对不同情况进行实例分析，直接分析本文的title“中文搜索引擎分词算法分析”这个句子在搜索引擎中的算法

1.正向匹配本文title通过正序扫描匹配算法可以分词出“中文搜索、中文搜索引擎、中文分词、搜索引擎、搜索分词、分词算法……”；
2.逆向匹配本文title通过逆向扫描匹配可以分词出“分析分词、算法搜索….”；
3.最少切分使每一句中切出的词数最小）；例如本文就能切分为“中文 搜索引擎 分词 算法 分析”；
4.双向最大匹配法结合正向、逆向匹配，可以将本文title分词出“分析（逆向）中文（正向）分词”。

上面介绍的是4中基础的中文分词算法，搜索引擎系统在实际工作的时候往往会把它们几种匹配按照最大匹配法混合运用。

二、基于统计的分词方法

这种分词是指搜索引擎通过分析大量的文字样本，计算出字与字相邻出现的统计概率，当几个词相邻出现的概率高了，就可能形成一个“新词”。例如本文中的“中文、分词、算法”，当实际应用中很多人把它们相邻使用，那么搜索引擎就会把它们连在一起形成一个“新词”并加入“系统词典”。

推荐一个中文分词分析，高频词分析工具在线中文分词、高频词分析工具

扩展阅读什么是中文分词？

 

 

中文分词(Chese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
中文分词对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。从定性分析来说，搜索引擎的分词算法不同，词库的不同都会影响页面的返回结果。