文本分词

1.正向/逆向最大匹配法

 2.NLP概率图：HMM针对中文分词应用——Viterbi算法

统计学思想：Viterbi算法找出一条概率最大路径（最短的马尔科夫链）

 jieba支持三种分词：

• 固有分词
• 繁体分词
• 自定义词典