在中文分词的过程中需要将英文,数字,汉字分离,数字和英文就不用分割了,主要是将分离出来的汉字进行分词,下面的算法实现利用正则表达式分离汉字、英文、数字:
//获取中文 string chRegS = @"[\u4e00-\u9fa5]+"; Regex chRegR = new Regex(chRegS); Match chMacth = chRegR.Match(str); while(chMacth.Success) { CHresult.Add(chMacth.ToString()); chMacth = chMacth.NextMatch(); } //英文 string enRegS = @"[a-zA-Z]+"; Regex enRegR = new Regex(enRegS); Match enMatch = enRegR.Match(str); while (enMatch.Success) { Enresult.Add(enMatch.ToString()); enMatch = enMatch.NextMatch(); } //数字 string numRegS = @"\d+"; Regex numRegR = new Regex(numRegS); Match numMatch = numRegR.Match(str); while (numMatch.Success) { Numresult.Add(numMatch.ToString()); numMatch = numMatch.NextMatch(); }
测试字符串:“可复用的WPF或者Silverlight应用程序和组件设计(3)——控件级别”
结果: