牛客网算法八股刷题系列——概率密度函数、累积分布函数、概率质量函数

题目描述

以下关于 PMF \text{PMF} PMF(概率质量函数)， PDF \text{PDF} PDF(概率密度函数)， CDF \text{CDF} CDF(累积分布函数)描述错误的是 ( ) (\quad) ()

A PDF \mathcal A \quad \text{PDF} APDF描述的是连续型随机变量在特定取值空间的概率

B CDF \mathcal B \quad \text{CDF} BCDF是 PDF \text{PDF} PDF在特定区间上的积分

C PMF \mathcal C \quad \text{PMF} CPMF描述的是离散型随机变量在特定取值点的概率

D \mathcal D \quad D有一个分布的 CDF \text{CDF} CDF函数 H ( a ) \mathcal H(a) H(a)，则 H ( a ) = P ( x ≤ a ) \mathcal H(a) = \mathcal P(x \leq a) H(a)=P(x≤a)

正确答案： A \mathcal A A

题目解析

该问题中最容易被忽视的点：概率密度函数( ProbabilityDensityFunction,PDF ) (\text{Probability Density Function,PDF}) (ProbabilityDensityFunction,PDF)，它的函数输出值描述的是对应输入事件发生的可能性。

但这个可能性不是概率；而概率描述的是函数在某范围内的积分；连续型随机变量取值在任意一点概率均为 0 0 0。

举一个实际例子：一维高斯分布的概率密度函数：

f ( x ) = 1 σ ⋅ 2 π exp ⁡ { − ( x − μ ) 2 σ 2 } f(x) = \frac{1}{\sigma \cdot \sqrt{2\pi}} \exp \left\{-\frac{(x - \mu)^2}{\sigma^2}\right\} f(x)=σ⋅2π ​1​exp{−σ2(x−μ)2​}

它的函数图像表示如下( μ = 0 , σ = 1 ) (\mu=0,\sigma=1) (μ=0,σ=1)：

由于均值μ = 0 \mu=0 μ=0的原因，在图像中观察， x = 0 x=0 x=0对应的可能性是最高的：

f ( 0 ) = 1 2 π exp ⁡ 0 ≈ 0.3989 f(0) = \frac{1}{\sqrt{2\pi}} \exp^0 \approx 0.3989 f(0)=2π ​1​exp0≈0.3989

但是该点对应的概率P ( x = 0 ) = 0 \mathcal P(x=0) =0 P(x=0)=0，但并不是说 x = 0 x = 0 x=0是不可能发生事件。

如何用概率密度函数来描述概率呢？积分。

作为概率密度函数的性质，有：

∫ − ∞ + ∞ f ( x ) d x = 1 \int_{-\infty}^{+\infty} f(x) dx = 1 ∫−∞+∞​f(x)dx=1

如果将积分在图像中进行描述，其表示函数图像与坐标轴在某一范围内围成图像的面积。依然以 x = 0 x = 0 x=0为例，它在图像中的概率结果表示为：

很明显，这仅仅是一个线段。而线段自身没有面积。这也可以说明：连续型随机变量取值在任意一点概率均为 0 0 0。

如果想要描述 P ( − 2 < x < 0 ) \mathcal P(-2<x<0) P(−2<x<0)的概率结果，对应在概率密度函数图像中表示为如下形式：

阴影面积部分。

因而它的概率是积分结果，而不是函数值。从另一个角度观察，如果某一个一维高斯分布方差较小，从而出现下图现象：

很明显，如果 PDF \text{PDF} PDF函数结果表示概率值，那么橙色线中 0 0 0对应的函数结果显然超过概率结果上界1 1 1了，自然也是不合理的。A \mathcal A \quad A选项错误。

B D \mathcal B \quad \mathcal D\quad BD选项中提到了累积分布函数( CumulativeDistributionFunction,CDF ) (\text{Cumulative Distribution Function,CDF}) (CumulativeDistributionFunction,CDF)，首先它是概率密度函数的积分，简单来说，它将积分结果映射到了函数值上。

从计算角度来看，概率密度函数是累积分布函数的导数。依然以一维高斯分布为例，它的累积分布函数表示如下：

这里并没有将‘累积分布函数’的公式求解出来，仅通过采样的方式近似求解。

import mathimport matplotlib.pyplot as pltimport numpy as npdef pdf(mu,sigma,x):return (1 / (math.sqrt(2 * math.pi) * sigma)) * math.exp(-1 * (((x - mu) ** 2) / (2 * (sigma ** 2))))def func(x):return math.exp(-1 *(x ** 2))def erf(x):if x > 0:x_l = np.arange(0,x,0.01)y_l = np.array([func(i) for i in x_l])else:x_l = np.arange(x,0,0.01)y_l = np.array([-1 * func(i) for i in x_l])res = (2 / (math.sqrt(math.pi))) * np.trapz(y_l,x_l)return resdef cdf(mu,sigma,x):input_x = (x - mu) / (sigma * (2 ** 0.5))return 0.5 * (1 + erf(input_x))if __name__ == '__main__':mu_0,sigma_0 = 0,1mu_1,sigma_1 = 0.8,1.5x = list(np.linspace(-6,6,300))y = [cdf(mu_0,sigma_0,i) for i in x]y_pdf = [pdf(mu_0,sigma_0,i) for i in x]plt.plot(x,y,c="tab:orange")plt.plot(x,y_pdf,c="tab:blue")plt.show()

对应函数图像表示如下。其中蓝色线表示概率密度函数；对应的橙色线表示对应的累积分布函数。

B \mathcal B \quad B选项是累积分布函数的定义；关于D \mathcal D \quad D选项，这里以 a = 1 a = 1 a=1为例，它的概率密度函数的积分结果与累积分布函数结果分别表示如下：

其中红色虚线与 CDF \text{CDF} CDF交点对应的函数值等于阴影部分面积，而阴影部分面积就是 P ( x ≤ a ) \mathcal P(x \leq a) P(x≤a)的概率值。

C \mathcal C \quad C选项，关于概率质量函数( ProbabilityMassFunction,PMF ) (\text{Probability Mass Function,PMF}) (ProbabilityMassFunction,PMF)，它与概率密度函数不同，由于是离散型随机变量，这导致概率质量函数不连续。具体公式表示如下：

f X ( x ) = { P ( X = x ) x ∈ S 0 x ∈ R \ S f_{\mathcal X}(x) = \begin{cases} \mathcal P(\mathcal X = x) \quad x \in \mathcal S \\ 0 \quad x \in \mathbb R \backslash \mathcal S \end{cases} fX​(x)={P(X=x)x∈S0x∈R\S​

相关描述为： S \mathcal S S表示随机变量X \mathcal X X能够取到数值 x x x的集合；而 R \ S \mathbb R \backslash \mathcal S R\S表示实数集合R \mathbb R R中除去 S \mathcal S S之外的剩余集合。

当 X \mathcal X X取集合S \mathcal S S中的某一具体值 x x x时，对应概率为 P ( X = x ) \mathcal P(\mathcal X = x) P(X=x)；当 X \mathcal X X取集合R \ S \mathbb R \backslash \mathcal S R\S中的值时，其对应概率结果必然为0 0 0。

这意味着概率质量函数的函数值就是该自变量对应的概率值。这也是它与概率密度函数的主要区别。