雅格布森通信模型：
通信六要素
- 发送者（信息源）
- 信道
- 接收者
- 信息
- 上下文
- 编码
HMM：隐马尔可夫模型
s是可见的 - 信源
o是不可见的（输出） - 信宿
通信就是要根据观测到的o恢复出s
对于翻译问题，汉译英：英语是s，汉语是o，根据s推断o
TF-IDF
TF：词频
IDF：逆文本频率指数
IDF就是关键词的权重，越能表示一个文档主题的词，其权重越高
最大熵原则
以条件随机场为例，希望找到一个符合所有边缘分布的概率分布函数。
根据最大熵原则：希望找到一个符合所有边缘分布并使熵达到最大的模型，数学上可以证明，这个模型就是指数函数。
详见：https://www.cnblogs.com/sddai/p/11346872.html
最大熵模型、逻辑回归模型都是指数模型，训练方法类似：EM算法（通用迭代算法GIS、改进的迭代算法IIS）
最大熵模型的数学推导（参考[2]）
对于给定的训练数据集T={（x1，y1）,（x2，y2）,(x3，y3)...(xn，yn)}以及特征函数fi(x,y),i=1,2,3...n，最大熵模型的学习等价于约束的最优化问题：
引入朗格朗日算子W，定义拉格朗日函数L(P,w)
最优化的原始问题：
对偶问题是：
由于L(P,W)是P的凸函数，原始问题的解与对偶问题的解是等价的。这里通过求对偶问题的解来求原始问题的解。
第一步求解内部极小化问题，记为：
通过微分求导，得出P的解是：
第二步求外部的极大化问题：
最后的解记为：
第三步可以证明对偶函数的极大化等价于第一步求解出的P的极大似然估计，所以将最大熵模型写成更一般的形式.
From <https://www.cnblogs.com/sddai/p/11346872.html>
对EM算法的理解
类比K-Means算法：
条件随机场
HMM和CRF的区别
上述模型参数众多，因此只能找出其中一些边缘分布，例如P(x_1), P(x_2, y_3)等，再根据最大熵原则找到一个满足所有边缘分布并且使熵最大的模型。
这个模型就是指数函数
计算复杂度
P问题：
非多项式问题：
在非多项式问题中，有一类称之为非确定的多项式问题（NP问题）
P不等于NP
如果一个问题，能在多项式复杂度的时间内证实一个答案正确与否，则称为NP问题（无论当前是否有多项式复杂度算法）
NPC：NP-complete问题，所有NP问题都可以在多项式时间内规约到NPC问题，如果NPC问题找到了多项式算法，则NP=P
计算复杂度至少是NPC甚至是更大的问题，称之为NP-Hard问题
篱笆网络（lattice）和维特比算法
SVD的物理含义
矩阵A：用来表示文章和词的关联性，A的一行对应一篇文章，A的一列对应一个词
A中元素为去加权词频（例如TF-IDF）
2019年8月15日 夜
于南湖畔