中文分词常用算法之基于词典的正向最大匹配

算法描述：

1. S1为带切分字符串，S2为空，MaxLen为词典中的最大词长
2. 判断S1是否为空，若是则输出S2
3. 从S1左边开始，取出待处理字符串str（其中str的长度小于MaxLen）
4. 查看str是否在词典中，若是则转5，若否则转6
5. S2+=str+”/”,S1-=str,转2
6. 将str最右边的一个字去掉
7. 判断str是否为单字，若是则转5，若否则转4

   Java实现代码：

   public static List<String> FMM(String text) {
           List<String> result = new ArrayList<String>();
           while (text.length() > 0) {
               int len = MAX_LENGTH;
               if (text.length() < len) {
                   len = text.length();
               }
               String tryWord = text.substring(0, 0 + len);
               while (!DIC.contains(tryWord)) {
                   if (tryWord.length() == 1) {
                       break;
                   }
                   tryWord = tryWord.substring(0, tryWord.length() - 1);
               }
               result.add(tryWord);
               text = text.substring(tryWord.length());
           }
           return result;
       }

   小结：

   正向最大匹配算法是中文分词基本算法之一，它分词速度快但是准确度并不高，比如“长春市长春节快乐”用正向最大匹配分出的来得结果是“长春市，市长，节，快乐”，这显然不符合我们的语言习惯，所以在此思想上，我们可以用逆向最大匹配算法来解决此类问题。