zoukankan      html  css  js  c++  java
  • jieba分词加入特殊字符和空格

    将原始jieba字典中的空格更改为 @@
      1.原来:雅不可攀 3 nr
      2.
    现在:雅不可攀@@3@@nr

    将自定义用户词典加入的词与词性中间的空格更改为@@ 

       1.原来:牵连关系 50 n

       2.现在:牵连关系@@50@@n

    更改jieba根目录下的__init__.py文件下代码:

       1.原来:re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

       2.现在:re_userdict = re.compile('^(.+?)(u0040u0040[0-9]+)?(u0040u0040[a-z]+)?$', re.U)

       1.原来:re_han_default = re.compile("([u4E00-u9FD5a-zA-Z0-9+#&._%]+)", re.U)

       2.现在:re_han_default = re.compile("(.+)", re.U)

       1.原来:word, freq = line.split(' ')[:2]

       2.现在:word, freq = line.split('u0040u0040')[:2]

       1.原来:self.user_word_tag_tab[word] = tag

       2.现在:self.user_word_tag_tab[word] = tag.replace('u0040u0040', '')

       1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代码

       2.freq = freq.replace('u0040u0040', '')

    更改jieba根目录下posseg文件下的__init__.py下代码:

       1.原来:re_han_internal = re.compile("([u4E00-u9FD5a-zA-Z0-9+#&._]+)")

       2.现在:re_han_internal = re.compile("(.+)", re.U)

       1.原来:word, _, tag = line.split(" ")

       2.现在:word, _, tag = line.split("u0040u0040")

     
     
  • 相关阅读:
    ORA-02290: 违反检查约束条件
    上传图片
    dart视频教程
    'OFFSET' 附近有语法错误。 在 FETCH 语句中选项 NEXT 的用法无效。
    .net js有数据 但是跳转不到操作页
    LAYUI layedit 富文本框内容的取值
    LAYUI select 下拉框得高度
    防止页面刷新
    Hadoop常用命令
    spark常用命令
  • 原文地址:https://www.cnblogs.com/callyblog/p/10097847.html
Copyright © 2011-2022 走看看