www.NiuTrans.com
IBM的思路:EM算法。
由于语序问题肯定不能一个个词直接翻译。因此需要找到内在的词对齐的方式。
在IBM出现之前,采用过很多句法上的努力。例如利用语法syntax分析(现在已经不怎么用)。因为当句子很长的、表达方式越来越多元化的时候,如果想要通过直接归纳出来一个固定模式的方法效果并不好。
IBM提出直接用统计的方法来实现,直接找到词与词之间的对应关系。因此,当你送入大量语料库的时候,机器进行观察,很多句话里,都有中文中出现某词的时候英语中一定会出现另外一个词。
采用共现(共同出现)来分析:
计算机在它的语料上没能找出今天和today之间的双向对应(是因为本例中自己的问题)。
由于是基于统计的,类似于无监督学习。
所有的ML算法中采用的训练数据都是平行语料,都是不跨行的。