随机变量及概率分布

一维随机变量

随机变量的概念

随机变量就是"其值随机会而定"的变量,正如随机事件是"其发生与否会随机而定"的事件

比如掷骰子,结果需要掷了骰子以后才知道

随机变量的反面是所谓的"确定性变量",即其取值遵循某种严格规律的变量

---

考虑打靶试验,命中的坐标由$(X,Y)$表示,$X,Y$都是随机变量,而$(X,Y)$则称为一个二维随机变量.多维随机变量由此推广

随机变量按其可能取值的全体的性质区分为两大类

• 离散型
  特征只能是取有限个值,或虽然能在理论上取无限个值,但是这些值都能毫无遗漏的一一列举出来
• 连续性
  这种变量的全部可能取值不仅是无穷多个,并且还不能无一遗漏的逐一排列

---

设$X$为离散型随机变量,其全部可能值为${a_1,a_2,\cdots}$ ,则

$$\begin{align} & p_i = P(X = a_i),i=1,2,\cdots \\ & p_i \ge 0 ,p_1 + p_2 + \cdots = 1 \end{align}$$

离散型随机变量的分布及重要例子

设$X$为一随机变量,则函数

$$P(X\le x) = F(x), -\infty < x < \infty$$

称为$X$的分布函数(这里并未限制$X$为离散型)

若知道概率函数 如 $p_i = P(X = a_i),i=1,2,\cdots$

则

$$F(x) = P(X\le x) = \sum_{\{i:a_i\le x\}}p_i$$

对于任意随机变量$X$,其分布函数$F(x)$具有下面的一般性质

• 当$(x_1 < x_2)$ 有$F(x_1) \le F(x_2)$

• 当$x\to \infty$, $F(x)\to 1$,当$x\to -\infty$,$F(x)\to 0$

二项分布

$$p_i = b(i;n,p) = \begin{pmatrix} n \\ i \end{pmatrix}p^i(1-p)^{n-i},i = 0,1,\cdots,n$$

$X$所遵从的概率分布称为二项分布,并常记为$B(n,p)$,以后,当随机变量服从某种分布$F$时,我们用$X\sim F$来 表达这一点,如,$X$服从二项分布就记为$X\sim B(n,p)$

二项分布的两个重要条件:

• 各次试验的条件是稳定的,保证了事件$A$的概率$p$的各次试验中保持不变
• 各次试验都是独立的

考虑抽奖,有N的产品,废品率是$p$,从中抽取$n$个,如果每次抽奖放回,且保证每个产品有同等的$1/N$的机会被抽出,则这$n$个产品中所含废品数$X$就遵从二项分布$B(n,p)$,如果不放回,下次抽中的概率就变了,不符合二项分布,除非$N$远大于 $n$,仍可以把$X$近似看成二项分布

泊松分布

$$P(X = i) = \frac{e^{-\lambda}\lambda^i}{i!} \\\\ \sum_{i=0}^{\infty}P(X=i) = e^{-\lambda}\sum_{i=0}^{\infty}\frac{\lambda^i}{i!} = e^{-\lambda}e^{\lambda} = 1$$

泊松分布可以看做是二项分布的极限得出的

对于二项分布$B(n,\frac{\lambda}{n})$

$$P(X = i) = \begin{pmatrix}n\\i\end{pmatrix}(\frac{\lambda}{n})^i(1-\frac{\lambda}{n})^{n-i}$$

当$n\to \infty$

$$\begin{align} \frac{\begin{pmatrix}n\\i\end{pmatrix}}{n^i}&\to \frac{1}{i!}\\ (1-\frac{\lambda}{n})^n&\to e^{-\lambda} \\ \begin{pmatrix}n\\i\end{pmatrix}(\frac{\lambda}{n})^i(1-\frac{\lambda}{n})^{n-i}&\to \frac{\lambda^i e^{-\lambda}}{i!} \end{align}$$

针对

$$\lim_{n\to\infty}(1-\frac{\lambda}{n})^n$$

的推导

$$已知 \lim_{n\to\infty}(1-\frac{1}{n})^n = \frac{1}{e} \\ \lim_{n\to\infty}(1-\frac{\lambda}{n})^n = lim_{n\to\infty}((1-\frac{1}{\frac{n}{\lambda}})^{\frac{n}{\lambda}})^\lambda = (\frac{1}{e})^{\lambda} = e^{-\lambda}$$

连续型随机变量的分布及重要例子

连续型随机变量$X$有概率分布函数$F(x)$，则$F(x)$的导数$f(x) = F^{\prime}(x)$，称为$X$的概率密度函数

连续型随机变量$X$的概率密度函数$f(x)$都具有下列三条基本性质

• $f(x) \ge 0$
• $\int_{-\infty}^{\infty}f(x)dx = 1$
• 对于任何常数$a<b$有 $P(a\le X \le b) = F(b) - F(a) = \int_a^bf(x)dx$

正态分布

$X\sim N(\mu,\sigma^2)$

$$f(x) = (\sqrt{2\pi}\sigma)^{-1}e^{-(x-\mu)^2/2\sigma^2}, -\infty < x < \infty$$

推导概率密度函数积分

$$\begin{align} & \begin{align} \iint\limits_{\bold{R^2}} e^{-(x^2 + y^2)}dxdy & = \iint\limits_{D} e^{-r^2}rdrd\theta \\ & = \int_0^{2\pi}d\theta\int_0^{+\infty}re^{-r^2}dr \\ & = 2\pi \int_0^{+\infty} re^{-r^2}dr \\ & = 2\pi \left.\cfrac{-1}{2}e^{-r^2}\right|_0^{+\infty} \\ & = 0 - (-\pi) \\ & = \pi \end{align} \\ & 其中 \\ & \bold{R^2} = (-\infty , + \infty) \times (-\infty , + \infty) \\ & D = \{(r,\theta) | 0\le r < +\infty, 0 \le \theta \le 2\pi \} \\ & \begin{align} \pi & = \iint\limits_{\bold{R^2}} e^{-(x^2+y^2)}dxdy \\ & = \int_{-\infty}^{\infty}dx \int_{-\infty}^{\infty} e^{-(x^2+y^2)}dy \\ & = \int_{-\infty}^{\infty} dx \int_{-\infty}^{\infty} e^{-x^2}e^{-y^2}dy \\ & = \int_{-\infty}^{\infty} e^{-x^2} dx \int_{-\infty}^{\infty} e^{-y^2}dy \\ & = (\int_{-\infty}^{\infty} e^{-x^2} dx)^2 \\ \end{align}\\ & \therefore \int_{-\infty}^{+\infty} e^{-x^2}dx = \sqrt{\pi} \\ & \begin{align} f(x) &= (\sqrt{2\pi}\sigma)^{-1} e^{-(x-u)^2/2\sigma^2} \\ &= (\sqrt{2\pi}\sigma)^{-1} e^{-(\cfrac{x-u}{\sqrt{2}\sigma})^2} \\ \int_{-\infty}^{+\infty} f(x) &= \int_{-\infty}^{+\infty} (\sqrt{2\pi}\sigma)^{-1} e^{-(\cfrac{x-u}{\sqrt{2}\sigma})^2} dx \\ &= \cfrac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty} e^{-(\cfrac{x-u}{\sqrt{2}\sigma})^2} dx \\ &= \cfrac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty} \sqrt{2}\sigma e^{-(\cfrac{x-u}{\sqrt{2}\sigma})^2} d\cfrac{x-u}{\sqrt{2}\sigma} \\ &= \cfrac{1}{\sqrt{\pi}} \int_{-\infty}^{+\infty} e^{-(\cfrac{x-u}{\sqrt{2}\sigma})^2} d\cfrac{x-u}{\sqrt{2}\sigma} \\ &= \cfrac{1}{\sqrt{\pi}} \sqrt{\pi} = 1 \\ \end{align} \end{align}$$

当$\mu = 0, \sigma ^2 = 1$ 时，

$$f(x) = \frac{e^{-x^2/2}}{\sqrt{2\pi}}$$

$N(0,1)$ 称为标准正态分布

任意正态分布到标准正态分布的转换

$$若 X \thicksim N(\mu,\sigma^2) ，则 Y = (X -\mu) / \sigma \thicksim N(0,1)$$

证明:

$$\begin{align} P(Y \le x) &= P((X - \mu)/\sigma \le x) = P(x\le \mu + \sigma x) \\ & = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{\mu + \sigma x} e^{-(x-\mu)^2/2\sigma^2} dx \\ & = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\mu + \sigma x} e^{-(\frac{x-\mu}{\sigma})^2/2} \frac{1}{\sigma} dx \\ \end{align} \\ \begin{align} & 令 u = \frac{x -\mu}{\sigma} \\ & 应用第一类换元法 设 f(x) 为可积函数，g = g(x) 为连续且可导函数，有 \\ & \int_{\alpha}^{\beta} f(g)g^{\prime}dx = \int_{g(\alpha)}^{g(\beta)} f(g)dg \\ & 把 u = \frac{x - \mu}{\sigma} 看做是 g(x) \\ & 则 \\ \end{align} \\ \begin{align} \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\mu + \sigma x} e^{-(\frac{x-\mu}{\sigma})^2/2} \frac{1}{\sigma} dx &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\mu + \sigma x} e^{-u^2/2} \frac{1}{\sigma} dx \\ &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\mu + (\frac{x-\mu}{\sigma})\sigma} e^{-u^2/2} du \\ &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-u^2/2} du \\ \end{align} \\\\ \begin{align} \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-u^2/2} du 的导数是 \frac{1}{\sqrt{2\pi}} e^{-x^2/2} ，即 Y 的密度函数 正好等于 标准正态分布的概率密度函数 \end{align}$$

例题：$X\thicksim N(1.5,2^2)$ ，求计算$P(-1\le X \le 2)$

$$\begin{align} & 解： \\ & \because (X - 1.5) / 2 \thicksim N(0,1) \\ & \begin{align} \therefore P(-1 \le X \le 2) &= P(\frac{-1 - 1.5}{2} \le \frac{X -1.5}{2} \le \frac{2 - 1.5}{2}) \\ & =P (-1.25 \le \frac{X - 1.5}{2} \le 0.25) \\ & = \Phi(0.25) - \Phi(-1.25) \\ & = \Phi(0.25) - (1 - \Phi(1.25)) \\ & = 0.4931 \end{align} \\\\ & \Phi 为标准正态分布 \end{align}$$

多维随机变量

离散型随向量的分布

随机向量$X=(X_1,\cdots,X_n)$ ，如果其中每一个分量$X_i$都是一维离散型随机变量，则称$X$为离散型的

定义

$$\begin{align} & \{a_{i1},a_{i2},\cdots\}记为 X_i的全部可能值 \\\\ & p(j_1,j_2,\cdots,j_n) = P(X_1 = a_{1j_1},X_2 = a_{2j_2},\cdots,X_n = a_{nj_n}) \\\\ & 称为随机向量X = (X_1,\cdots,X_n) 的概率函数 \\\\ & 概率函数满足的条件: \\\\ & p(j_1,j_2,\cdots,j_n)\ge 0 ,\sum_{j_n}\cdots\sum_{j_2}\sum_{j_1}p(j_1,j_2,\cdots,j_n) = 1 \end{align}$$

多项分布

设$A_1,A_2,\cdots,A_n$是某一试验下的完备事件群，即事件$A_1,\cdots,A_n$两两互斥，其和为必然事件(每次试验，事件$A_1,\cdots,A_n$必发生一个且只发生一个)，分别以$p_1,p_2,\cdots,p_n$记事件$A_1,A_2,\cdots,A_n$的概率，则$p_i\ge 0,p_1+\cdots+p_n = 1$

将试验独立地重复$N$次，以$X_i$记在这$N$次试验中事件$A_i$发生的次数。
$X = (X_1,X_2,\cdots,X_n)$的概率分布就叫做多项分布，记为$M(N;p_1,\cdots,p_n)$

计算事件$B = \{X_1 = k_1,\cdots,X_i = k_i, \cdots X_n = k_n\}$的概率

$$\begin{align} & P(X_1 = k_1 ,X_2 = k_2 , \cdots , X_n = k_n ) \\ & = \frac{N!}{k_1!k_2!\cdots k_n!}p_1^{k_1}p_2^{k_2}\cdots p_n^{k_n} \ \end{align}$$

连续型随机向量的分布

若 $f(x_1,\cdots,x_n)$是定义在 $\Bbb R^n$上的非负函数，使对$\Bbb R^n$中的任何集合$A$，有

$$P(X\in A) = \int_A\cdots\int f(x_1,\cdots,x_n)dx_1\cdots dx_n$$

则称 $f$ 是 $X$的概率密度函数

若把$A$取成全空间$\Bbb R^n$，则$\{X\in A\}$为必然事件，概率为1，有

$$\int_{-\infty}^{\infty}\cdots\int f(x_1,\cdots,x_n)dx_1\cdots dx_n = 1$$

例:向一个无限平面射击，设命中点$X = (x_1,x_2)$有概率密度 $f(x_1,x_2) = \pi ^{-1} (1+ x_1^2 + x_2^2)^{-2}$，验证概率密度函数是否正确

验证:

$$\begin{align} \iint_{-\infty}^{\infty} f(x_1,x_2)dx_1dx_2 &= \int_0^{2\pi}d\theta \int_0^{\infty} \pi^{-1}(1+r^2)^{-2}rdr \\ &= 2\pi\cdot\pi^{-1}\int_0^{\infty}(1+r^2)^{-2}rdr \\ &= 2\int_0^{\infty}(1+r^2)^{-2}rdr \\ &= 2\int_0^{\infty}(1+t)^{-2}dt/2 \\ &= 1\int_0^{\infty}(1+t)^{-2}dt \\ &= 1\cdot \left|-\frac{1}{1+t}\right|_0^{\infty} = 1\cdot(0 - (-1)) = 1\\ \end{align}$$

命中点与靶心距离不超过 $r_0$ 这个事件的概率为

$$\begin{align} \iint\limits_{x_1^2 + x_2^2 \le r_0^2} f(x_1,x_2)dx_1dx_2 &= \int_0^{2\pi}d\theta\int_0^{r_0}\pi^{-1}(1+r^2)^{-2}rdr \\ &= \frac{r_0^2}{1+r_0^2} \end{align}$$

二维正态分布

概率密度函数

$$f(x_1,x_2) = \left(2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}\right)^{-1}\exp\left( -\frac{1}{2(1-\rho^2)}\left( \frac{(x_1-a)^2}{\sigma_1^2} - \frac{2\rho(x_1-a)(x_2-b)}{\sigma_1\sigma_2} + \frac{(x_2-b)^2}{\sigma_2^2} \right) \right)$$

常数	取值范围
a	$-\infty < a < \infty$
b	$-\infty < a < \infty$
$\sigma_1$	$\sigma_1 > 0$
$\sigma_2$	$\sigma_2 > 0$
$\rho$	$-1<\rho <1$

二维正态分布记作$N(a,b,\sigma_1^2,\sigma_2^2,\rho)$

二维正态分布概率密度函数验证

边缘分布

离散型边缘分布

$$P(X_1 = a_{1k}) = \sum_{j_2,\cdots,j_n}p(k,j_2,\cdots,j_n) , k = 1,2,\cdots$$

多项分布的边缘分布是二项分布

连续型边缘分布

$$f_1(x_1) = \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x_1,x_2,\cdots,x_n)dx_2\cdots dx_n$$

二维正态分布的边缘分布是一维正态分布

条件概率分布与随机变量的独立性

条件概率分布的概念

一个随机变量$X$的条件概率分布，就是在某中给定的条件下，$X$的概率分布

此处的条件分布，是在试验中所规定的“基本”条件之外再附加的条件。它一般采取如下的形式：设有两个随机变量$X,Y$，在给定了$Y$取值的条件下，去求$X$的条件分布

离散型随机变量的条件分布

设$(X_1,X_2,\cdots,X_n)$服从多项分布$M(N;p_1,\cdots,p_n)$ , 计算在$X_2=k_2$的条件下,$X_1$的条件分布

$P(X_1 = k_1 | X_2 = k_2) = P(X_1 = k_1, X_2 = k_2)/P(X_2 = k_2)$

1️⃣根据边缘分布

$$P(X_2 = K_2) = \frac{N!}{(N-k_2)!}\frac{p_2^k}{k_2!}(1-p_2)^{N-k_2}$$

2️⃣求$P(X_1 = k_1, X_2 = k_2)$

$$P(X_1 = k_1, X_2 = k_2) = {\sum_{k_3,\cdots,k_n}}^{\prime} \frac{N!}{k_1!k_2!k_3!\cdots k_n!}p_1^{k_1}p_2^{k_2}p_3^{k_3}\cdots p_n^{k_n}$$

${\sum_{k_3,\cdots,k_n}}^{\prime}$ 表示求和范围为$k_3,\cdots,k_n$，显然$k_3 + \cdots + k_n = N - (k_1+k_2)$

3️⃣ 令 $p_i^{\prime} = p_i / (1-p_1 -p_2)$

$$\begin{align} & P(X_1 = k_1,X_2 = k_2 ) = \frac{N!}{k_1!k_2!(N-k_1-k_2)!}\cdot p_1^{k_1}p_2^{k_2}(1-p_1-p_2)^{N-k_1-k_2}\cdot C \\\\ & C = {\sum_{k_3,\cdots,k_n}}^{\prime} \frac{(N-k_1-k_2)!}{k_3!\cdots k_n!} = 1 {p^{\prime}}_3^{k_3} \cdots {p^{\prime}}_n^{k_n} \end{align}$$

4️⃣ 所以

$$\begin{align} P(X_1 = k_1 | X_2 = k_2) &= P(X_1 = k_1,X_2 = k_2) / P(X_2 = k_2) \\\\ &= {\frac{N!}{k_1!k_2!(N-k_1-k_2)!}\cdot p_1^{k_1}p_2^{k_2}(1-p_1-p_2)^{N-k_1-k_2}} /{ \frac{N!}{(N-k_2)!}\frac{p_2^k}{k_2!}(1-p_2)^{N-k_2} } \\\\ &= \frac{(N-k_2)!}{k_1!(N-k_1-k_2)} \frac{p_1^{k_1}(1-p_1-p_2)^{N-k_1-k_2}}{(1-p_2)^{N-k_2}}\\\\ &= \frac{(N-k_2)!}{k_1!(N-k_1-k_2)} \frac{p_1^{k_1}(1-p_1-p_2)^{N-k_1-k_2}}{(1-p_2)^{N-k_1}\cdot(1-p_2)^{N-k_1-k_2}}\\\\ &= \frac{(N-k_2)!}{k_1!(N-k_1-k_2)}(\frac{p_1}{1-p_2})^{k_1}(1-\frac{p_1}{1-p_2})^{N-k_1-k_2} \\\\ &= b(k_1;N-k_2,p_1/(1-p_2)),k=0,1,\cdots,N-k_2 \end{align}$$

连续型随机变量的条件分布

假设二维随机向量$X = (X_1 ,X_2)$ 有概率密度函数$f(x_1,x_2)$ , 在限定$a\le x_2 \le b$的条件下,$X_1$的条件分布有

$$P(X_1 \le x_1 | a \le X_2 \le b) = P(X_1 \le x_1, a\le X_2 \le b) / P(a\le X_2 \le b)$$

$$P(X_1 \le x_1, a\le X_2 \le b) = \int_{\infty}^{x_1} dt_1\int_a^b f(t_1,t_2)dt_2$$

$$P(a\le X_2 \le b) = \int_a^bf_2(t_2)dt_2 \quad{(f_2为X_2的边缘分布密度函数)}$$

$X_1$ 的条件分布函数

$$P(X_1 \le x_1 | a \le X_2 \le b) = \int_{\infty}^{x_1} dt_1\int_a^b f(t_1,t_2)dt_2 \bigg/ \int_a^bf_2(t_2)dt_2$$

对$X_1$的条件分布函数的$x_1$求导倒数,得到条件密度函数$f_1$

$$f_1 (x_1 | a\le X_2 \le b) = \int_a^b f(x_1 ,t_2)dt_2 \bigg/ \int_a^b f_2 (t_2)dt_2$$

当$a=b$

$$\begin{align} f_1 ( x_1 | X_2 = x_2) &= \lim_{h\to 0}f_1 (x_1 | x_2 \le X_2 \le x_2 +h) \\ &= \lim_{h\to 0 }\frac{1}{h}\int_{t_2}^{x_2+h}f(x_1,t_2)dt_2 \bigg/ \lim_{h\to 0}\frac{1}{h}\int_{x_2}^{x_2+h} f_2(t_2)dt_2 \\ &= f(x_1,x_2) / f_2(x_2) \end{align}$$

改写上式，得到

$$f(x_1,x_2) = f_2(x_2)f_1(x_1|x_2)$$

即:两个随机变量$X_1$和$X_2$联合概率密度,等于其中之一的概率密度乘以在给定这一之下另外一个的条件概率密度.这个公式相应于条件概率的公式$P(AB) = P(B)P(A|B)$

同理也有

$$f(x_1,x_2) = f_1(x_1)f_2(x_2|x_1)$$

推广到$n$维随机向量$(X_1,\cdots,X_n)$，其概率密度函数为$f(x_1,\cdots,x_n)$ 则

$$f(x_1,\cdots,x_n) = g(x_1,\cdots,x_k)h(x_{k+1},\cdots,x_n|x_1,\cdots,x_k)$$

其中$g$是$(X_1,\cdots,X_k)$的概率密度,而$h$则是在给定了$X_1=x_1,\cdots,X_k=x_k$条件下,$X_{k+1},\cdots,X_n$的条件概率密度