zoukankan      html  css  js  c++  java
  • 数学之美:自然语言处理-从规则到统计

    前言

      系列文章:[传送门]

      看着吴军博士的这本书,本来对数学很感兴趣的我。为了学英语,就在那书提到的《从一到无穷大》买了中英两本(中文使用天猫积分,哈哈)。

      

    正文

      如图

      

      语言的出现是为了人与人之间的通信。任何一种语言都是一种编码方式,而语法规则是编解码的算法。其数学本质:ta可以用某种语言解码方式得到另一个ta的表达意思。

      现在,大家用的很多的。搜狗输入法的语音识别,苹果的siri等。都象征着,计算机能处理自然语言,处理语言的方式和人类的一样。

       

    机器智能(规则)

      图灵测试:是一种来验证机器是否能有智能的方法:让人和机器进行交流,如果无法判断自己交流是人还是机器,那就说明机器是智能。

        

      就想学英语一样,语法,名词(n.),动词(v.)...很多实在的规则摆在我们面前,就想固定住的是的。人们思维也觉得合情合理,这不是天然的一种数据结构。多好的规则,多好的结构,可以让算法来描述。

        

          这貌似计算机可以实现?

      但事实摆在眼前,

        "The pen is in the box "    "The box is in the pen"

        钢笔在盒子里                     盒子在围栏里

      如果运用规则处理的话,这两句话就是典型的问题。计算机无法判断,如果有人说

    if

      #我说的只是一个例子,这种例子在一种数量级上的,所以if失败

      但自然语言的处理,并非是靠计算机理解力自然语言而完成的。事实上,靠的是数学中的统计。进而出现了统计语言学,进而才有了今天的我们手中的siri。

    从规则到统计

      统计,统计语言学。最近,学校里安排了概率论。原来概率在这块领域作用很大,问下老师一些问题。心态豁然开阔。就是统计语言模型里面涉及(下篇博客出)。关于此方面的书,我针对的去看,豆瓣会更新:http://book.douban.com/doulist/3909716/

      例子

        我爱美丽的花

      

      数学

      p(我想要的)=p(W,Q,E,R)

      然后可用,概率哦(下篇博客出),我们仔细讨论这个问题。

    总结

      就这样,基于统计的自然语言处理方法(统计语言模型),用数学把复杂的问题简单化。

    感谢及资源共享

        

        路上走来一步一个脚印,希望大家和我一起。

        感谢读者!很喜欢你们给我的支持。如果支持,点个赞。

        知识来源: 《数学之美》

      

  • 相关阅读:
    洛谷 P1908 逆序对(树状数组解法)
    洛谷 P1908 逆序对(归并排序解法)
    洛谷 P3368 【模板】树状数组 2(区间修改点查询)
    POJ 2833 The Average(优先队列)
    POJ 2255 Tree Recoveryw(二叉树)
    洛谷 P1540 机器翻译(队列)
    POJ 1686 Lazy Math Instructor(栈)
    队列中取最大值操作
    相邻元素差的绝对值都是1,在这样的数组中找目标元素
    双栈队列实现快速获取队列最大值最小值
  • 原文地址:https://www.cnblogs.com/Alandre/p/3649588.html
Copyright © 2011-2022 走看看