1.Probability mass functions (pmf) and Probability density functions (pdf)
pmf 和 pdf 类似，但不同之处在于所适用的分布类型
PMF -> <font color='green'>discrete distributions</font>, while pdf -> <font color='green'>continuous distributions</font>
例如：
pmf: if P(X=5) = 0.2,则随机变量等于5时的概率是0.2
（pmf非负且sum等于1）
但是pdf就不能这么说了，因为pdf定义在point上，而他的Probability却定义在积分上，即：$$int_A^Bf(x)dx quad extrm{and} quad Xin [A,B] $$
若$A=B$则积分为0，给定点的"概率"永远是0。
因为我们只要确保积分后的结果是合法的概率值就可以，所以pdf可以大于1（离散分布就不可以了），但是pdf必须非负且积分区间是$(-infty, +infty)$
2.Cumulative Distribution Funtions
CDF是累积分布函数
$F(c) = P(X<c); extrm{F is the CDF}$
离散分布：
$F(c) = sum_{-infty}^c p(c)$
连续分布：
$F(c) = int_{-infty}^c f(x)dx$
3.likelihood function
在统计学中，Likelihood function似然函数是一个带参数的统计模型函数，所谓统计模型statistical model就是$(S,P)$,其中S是可能的观测结果集合，例如，样本空间，P则是基于S的概率分布，也就是S中事件发生的概率。似然函数可以用来做参数估计，在英语单词中likelihood和probability可近似使用，非正式语境下为同义词。但在统计学上是有差别的。
probability:给定参数，描述事件结果的函数。e.g.如果一个硬币抛十次，每次正面朝上的probability是多少？
likelihood:给定结果，描述带参数的函数。e.g.如果一个硬币抛了十次，有十次正面朝上，likelihood是什么？
定义：
$$ell( heta|x) = P(x| heta)$$
解释：The likelihood of a set of parameter values, θ, given outcomes x, is equal to theprobability of those observed outcomes given those parameter values.
似然函数依据变量是离散的还是连续的可分为如下：
Discrete probability distribution:$ell( heta|x) = p_{ heta}(x)=P_{ heta}(X=x)$
Continuous probability distribution:$ell( heta|x)=f_ heta(x)$
这里面需要注意到是似然函数是参数$ heta$的函数，x是常量，大写的$X$是随机“变量”，小写的$x$是常量(给定的值)。可以这样理解，在现有模型下，x是一次实验的观测结果。对于$f(x| heta)$，如果把它看成x固定，则是一个pdf，如果把他看成x固定，则是likelihood function.但不能理解成条件概率，因为$ heta$不是随机变量，只是参数。所以大多情况下，会写成$P(X=x; heta)$以作区别。
总结：PMF and PDF are almost the same, but one is for discrete distributions and one is for continuous distributions. CDF are different, but are the sum/integral of PMF/PDF and tell us **the probability that X is less than a certain value**.
参考资料:https://www.quora.com/What-is-the-relationship-between-the-probability-mass-density-and-cumulative-distribution-functions