zoukankan      html  css  js  c++  java
  • Jieba分词词性标注以及词性说明

     1 import jieba
     2 
     3 import jieba.analyse
     4 
     5 import jieba.posseg
     6 
     7  
     8 
     9 def dosegment_all(sentence):
    10 
    11     '''
    12 
    13     带词性标注,对句子进行分词,不排除停词等
    14 
    15     :param sentence:输入字符
    16 
    17     :return:
    18 
    19     '''
    20 
    21     sentence_seged = jieba.posseg.cut(sentence.strip())
    22 
    23     outstr = ''
    24 
    25     for x in sentence_seged:
    26 
    27         outstr+="{}/{},".format(x.word,x.flag)
    28 
    29     #上面的for循环可以用python递推式构造生成器完成
    30 
    31     # outstr = ",".join([("%s/%s" %(x.word,x.flag)) for x in sentence_seged])
    32 
    33     return outstr
    34 
    35  
     
     

    Ag

    形语素

    形容词性语素。形容词代码为 a,语素代码g前面置以A。

    a

    形容词

    取英语形容词 adjective的第1个字母。

    ad

    副形词

    直接作状语的形容词。形容词代码 a和副词代码d并在一起。

    an

    名形词

    具有名词功能的形容词。形容词代码 a和名词代码n并在一起。

    b

    区别词

    取汉字“别”的声母。

    c

    连词

    取英语连词 conjunction的第1个字母。

    dg

    副语素

    副词性语素。副词代码为 d,语素代码g前面置以D。

    d

    副词

    取 adverb的第2个字母,因其第1个字母已用于形容词。

    e

    叹词

    取英语叹词 exclamation的第1个字母。

    f

    方位词

    取汉字“方”

    g

    语素

    绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。

    h

    前接成分

    取英语 head的第1个字母。

    i

    成语

    取英语成语 idiom的第1个字母。

    j

    简称略语

    取汉字“简”的声母。

    k

    后接成分

     

    l

    习用语

    习用语尚未成为成语,有点“临时性”,取“临”的声母。

    m

    数词

    取英语 numeral的第3个字母,n,u已有他用。

    Ng

    名语素

    名词性语素。名词代码为 n,语素代码g前面置以N。

    n

    名词

    取英语名词 noun的第1个字母。

    nr

    人名

    名词代码 n和“人(ren)”的声母并在一起。

    ns

    地名

    名词代码 n和处所词代码s并在一起。

    nt

    机构团体

    “团”的声母为 t,名词代码n和t并在一起。

    nz

    其他专名

    “专”的声母的第 1个字母为z,名词代码n和z并在一起。

    o

    拟声词

    取英语拟声词 onomatopoeia的第1个字母。

    p

    介词

    取英语介词 prepositional的第1个字母。

    q

    量词

    取英语 quantity的第1个字母。

    r

    代词

    取英语代词 pronoun的第2个字母,因p已用于介词。

    s

    处所词

    取英语 space的第1个字母。

    tg

    时语素

    时间词性语素。时间词代码为 t,在语素的代码g前面置以T。

    t

    时间词

    取英语 time的第1个字母。

    u

    助词

    取英语助词 auxiliary

    vg

    动语素

    动词性语素。动词代码为 v。在语素的代码g前面置以V。

    v

    动词

    取英语动词 verb的第一个字母。

    vd

    副动词

    直接作状语的动词。动词和副词的代码并在一起。

    vn

    名动词

    指具有名词功能的动词。动词和名词的代码并在一起。

    w

    标点符号

     

    x

    非语素字

    非语素字只是一个符号,字母 x通常用于代表未知数、符号。

    y

    语气词

    取汉字“语”的声母。

    z

    状态词

    取汉字“状”的声母的前一个字母。

    un

    未知词

    不可识别词及用户自定义词组。取英文Unkonwn首两个字母。(非北大标准,CSW分词中定义)
    作者:你的雷哥
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利。
  • 相关阅读:
    动态规划之背包问题
    Python中import导入上一级目录模块及循环import问题的解决
    Anaconda介绍、安装及使用教程
    负载均衡基础知识
    TCP和UDP的区别(转)
    microsoft visual c++ 14.0 is required问题解决办法
    python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
    解决Anaconda无法更新的问题
    彻底的理解TCP协议的三次握手和四次分手
    android调试工具 adb命令学习
  • 原文地址:https://www.cnblogs.com/henuliulei/p/13702707.html
Copyright © 2011-2022 走看看