zoukankan      html  css  js  c++  java
  • cs224n第一讲深度自然语言处理

    1、什么是NLP?

    定义。融合了计算机科学、AI和计算语言学的人工智能领域的一个分支。

    NLP levels。单词结构的形态分析,句子结构的句法分析,语义解释(结合上下文得出的语义就引出了语用学和语篇处理)。

    应用。机器翻译、口语对话系统、生成开发知识库、语音识别、情感分析,在商业上掀起研究NLP 的浪潮。

    人类语言的特殊之处:一是专门构造用于传达说话者(写作者)的意思,二来它是一个分散的、象征性的、绝对的信号系统(语言就是系统) 

    2、什么是DL?

    深度学习是ML的一个分支,主要研究如何让计算机自动学习,而不是人工教授、手工写代码。

    DL是表征学习(representation learning)的一个分支,它试图获得多层的习得表征和最佳输出,实际表现就是你在研究中用到了神经网络的模型。

    探索DL的原因。手工设计的特征不完整、过于专一、设计和证实的时间周期长;习得特征自适应和学习能力好;用于监督学习和无监督学习;表征的信息多样,视觉的,语言的;效果较之其他机器学习方法明显提高。

    在DL领域首个突破在语音识别上,再是计算机视觉领域(在ImageNet计算机视觉竞赛中出色表现)

    3、学习前提

    Prerequisites

    熟练使用培Python;熟悉矩阵、多元微积分、线性代数相关概念;基本概率统计知识;机器学习相关(loss function、optimization with gradient descent)

    4、为什么NLP很难?

    5、Deep NLP = DL + NLP

    近几年在NLP领域的发展,通过不同的

    • 层次:词汇学,句法学,语义学
    • 工具:词性标注,名称识别,找句子语法结构
    • 应用:机器翻译,情感分析,聊天助手,问答系统

    深度学习和语言都是以词义为起点(第二讲),将一个单词用向量表示,维度自定义,组成单词向量(vectors for words),同类型的单词就会聚集在向量空间中,若要观察到需要用一些方法,如主成分分析、非线性降维,来投射到二维空间,以便观察。

    Morpheme:the smallest unit of meaning that a word can be divided into.

    应用举例:用神经网络进行依存句法分析(dependency parsing)

    运用DL在NLP的各个应用领域,像机器翻译,情感分析,聊天助手,问答系统上,都呈现出了大幅度的提高。

    小tip:NLP最早进行研究是在美苏冷战时开始的。。。

    下一讲预告

  • 相关阅读:
    c:forTokens标签循环输出
    jsp转long类型为date,并且格式化
    spring中@Param和mybatis中@Param使用区别(暂时还没接触)
    734. Sentence Similarity 有字典数组的相似句子
    246. Strobogrammatic Number 上下对称的数字
    720. Longest Word in Dictionary 能连续拼接出来的最长单词
    599. Minimum Index Sum of Two Lists两个餐厅列表的索引和最小
    594. Longest Harmonious Subsequence强制差距为1的最长连续
    645. Set Mismatch挑出不匹配的元素和应该真正存在的元素
    409. Longest Palindrome 最长对称串
  • 原文地址:https://www.cnblogs.com/py-fwg/p/9905794.html
Copyright © 2011-2022 走看看