zoukankan      html  css  js  c++  java
  • 自然语言中的词法分析、语法分析、句法分析

    1.词法分析

    词是自然语言中能够独立运用的最小单位,是自然语言处理的基本单位。词法分析就是利用计算机对自然语言的形态 (morphology) 进行分析,判断词的结构和类别等。

    词法分析的主要任务是:①:能正确的把一串连续的字符切分成一个一个的词 ②:能正确地判断每个词的词性,以便于后续的句法分析的实现。

    常见的中文分词算法:(分为三类,1.基于字符串匹配(机械分词)的分词方法、2.基于理解的分词方法、3.基于统计的分词方法)

      最大匹配法(正向、逆向)    1基于字符串匹配

      基于词典的中文分词       1基于字符串匹配

      基于标记法

      约束矩阵法

      句模切分法

      神经网络分析算法         2.基于理解

      基于统计语言模型(共现率)    3.基于统计

      专家系统分词算法         

     常见分词项目:

      word分词

      FudanNLP

      Paoding

      MMSEG4J

      jcseg

      ICTCLAS

      智呈分词

      MFSOU分词

      SCWS

      jieba

      

    2.句法分析(语法分析)

    运用自然语言的句法和其他知识来确定组成输入句各成分功能。对句子中的词语语法功能进行分析。(每个词充当的角色,主语、谓语等)。

    句法分析的基本任务是:确定句子的语法结构或句子中词汇之间的依存关系。

    句法分析分为:句法结构分析和依存关系分析两种。

     采用语法树来表示

    3.语义分析

    4.语用分析

    5.常见的术语:

      未登录词:命名实体(人名、地名)、新词,专业术语称为未登录词。也就是那些在分词词典中没有收录,但又确实能称为词的那些词。

     

  • 相关阅读:
    mysql中去重复记录
    php数组操作,内容相同,键值不同,互换
    windows和linux下目录分隔符兼容问题(换行回车兼容)
    Windows安装Redis的php扩展
    web.xml中:<context-param>与<init-param>的区别与作用及获取方法
    classpath 和 classpath*的 区别:
    Several ports (8005, 8080, 8009) required
    maven:mirrors和repository的关系区别
    xml中${}的使用含义(美元符号大括号,以Spring、ibatis、mybatis为例)
    mysql 、redis的区别
  • 原文地址:https://www.cnblogs.com/bandaobudaoweng/p/10821034.html
Copyright © 2011-2022 走看看