zoukankan      html  css  js  c++  java
  • NLP VS NLU

    NLP(Natural Language Processing )自然语言处理:是计算机科学,人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言,以执行语言翻译和问题回答等任务。
    NLU  (Natural Language Understanding ) 自然语言理解:将人的语言形式转化为机器可理解的、结构化的、完整的语义表示,通俗来讲就是让计算机能够理解和生成人类语言

    NLG (Natural Language Generation) 自然语言生成:旨在让机器根据确定的结构化数据、文本、音视频等生成人类可以理解的自然语言形式的文本

    NLP


     

    如上图:NLP 由两个主要的技术领域构成:自然语言理解(NLU)和自然语言生成(NLG)。主要包含的技术的技术领域如下图:

    NLU 旨在让机器理解自然语言形式的文本内容。从 NLU 处理的文本单元来讲,可以分为词(term)、句子(sentence)、文档(document)三种不同的类型

    NLG旨在让机器根据确定的结构化数据、文本、音视频等生成人类可以理解的自然语言形式的文本。根据数据源的类型,NLG可以分为三类:

    1. Text to text NLG,主要是对输入的自然语言文本进行进一步的处理和加工;
    2. Data to text NLG,主要是根据输入的结构化数据生成易读易理解的自然语言文本;
    3. Vision to text NLG,主要是给定一张图片或一段视频,生成可以准确描述图片或视频(其实是连续的图片序列)语义信息的自然语言文本,同时 text to vision 的自动生成近几年也有一些有趣的进展。

    语议理解 


    自然语言理解的结果,就是要获得一个语义表示(semantic representation),语义表示主要有三种方式:

    1. 分布语义(Distributional semantics):就是把语义表示成一个向量,它的理论基础来自于Harris的分布假设:语义相似的词出现在相似的语境中。具体的计算方法有多种,比如LSA(Latent Semantic Analysis)、LDA(Latent Dirichlet Allocation)及各种神经网络模型(如LSTM)等
    2. 框架语义(Frame semantics):把语义用一个frame表示出来 
    3.  模型论语义(Model-theoretic semantics):把自然语言映射成逻辑表达式(logic form)

     目前采用的语义表示是frame semantics表示的一种变形:采用领域(domain)、意图(intent)和属性槽(slots)来表示语义结果。 如下图:

    • 领域:是指同一类型的数据或者资源,以及围绕这些数据或资源提供的服务,比如“餐厅”,“酒店”,“飞机票”、“火车票”、“电话黄页”等;
    • 意图:是指对于领域数据的操作,一般以动宾短语来命名,比如飞机票领域中,有“购票”、“退票”等意图;
    • 属性槽:用来存放领域的属性,比如飞机票领域有“时间”“出发地”“目的地”等

    chatbot 架构示例 


  • 相关阅读:
    Java 访问权限字节码
    vscode 写js项目,自动按照eslint保存
    mac 按键符号说明
    下载git单个文件或目录
    生成密码的方式
    git 笔记
    后端数据返回的snake_case格式,但前端的规范为驼峰格式,实现一种snake_case转驼峰的方法
    wireshark 数据协议解析
    MAC App破解之路十一 charles
    生成检查的顺子的表
  • 原文地址:https://www.cnblogs.com/tgzhu/p/10571675.html
Copyright © 2011-2022 走看看