概率统计大纲

本文最后更新于:2021年3月22日 下午

学习概率统计时提炼的大纲,不过由于时间原因有章节缺省了

概率统计大纲

第1章 随机事件的概率

第一节 随机事件和样本空间

随机试验与随机事件

  • 试验EE:对某种实物的某种特性的观察
    • 确定性试验(必然试验)
    • 随机试验
  • 事件:对随机试验的观察中,试验的结果。
    • 随机事件:随机试验的每一个可能结果
      • 由若干基本事件组成
    • 必然事件和不可能事件:我们把它当作特殊的随机事件

样本空间

  • 样本空间Ω,S\Omega,S:全部基本事件组成的集合。(所以基本事件又叫样本点)

随机事件A,BA,B的关系和运算

  • AA发生必然导致BB发生:ABA\subset B

  • A,BA,B至少一个发生:A+BA+B

  • A,BA,B同时发生:ABAB

  • A,BA,B不能同时发生:不相容/互斥,AB=0AB=0(可以扩展到多个)

  • A,BA,B对立/互逆:AB=0,A+B=SAB=0,A+B=S,记为A=BA=\overline{B}

  • AA发生BB不发生:ABA-B ※:AB=AAB=ABA-B=A-AB=A\overline{B}

  • 运算满足:交换律,结合律,分配律(加法的和乘法的 ),DeMorganDe Morgan公式

第二节 古典概率 几何概率 统计概率

古典概率

  • 古典概型:试验的样本空间只包含有限个基本事件,而且基本事件的发生可能性相等。
  • 古典概率:P(A)=AP(A)=\frac{事件A所包含的基本事件的个数}{基本事件的总数}
    • 性质:
      1. 对于任意事件AA0P(A)10\leq P(A)\leq1
      2. P(S)=1P(S)=1
      3. Ai(i=1,,m)A_{i}(i=1,\cdots,m)不相容,则有P(i=1mA)=i=1mP(Ai)P(\sum _{i=1}^{m}A_{})=\sum _{i=1}^{m}P(A_{i})
      4. P(A)=1AP(A)=1-\overline{A}
    • 计算:排列组合问题

几何概率

  • 几何概型:向可度量的有界区域SS投掷质点,观察质点的位置。如果质点落在任意子区域AA的可能性大小和子区域的度量L(A)L(A)成正比,与形状位置无关,则称该试验为几何概型。
  • 古典概率:P(A)=L(A)L(S)P(A)=\frac{L(A)}{L(S)}
    • 性质:
      1. 对于任意事件AA0P(A)10\leq P(A)\leq1
      2. P(S)=1P(S)=1
      3. Ai(i=1,)A_{i}(i=1,\cdots)不相容,则有P(i=1+A)=i=1+P(Ai)P(\sum _{i=1}^{+\infty}A_{})=\sum _{i=1}^{+\infty}P(A_{i})

概率的统计定义

  • 频率:试验重复做了nn次,其中AA发生了nAn_{A}次,称频率为fn(A)=nAnf_{n}(A)=\frac{n_{A}}{n}
    • 性质:
      1. 对于任意事件AA0fn(A)10\leq f_{n}(A)\leq1
      2. fn(S)=1f_{n}(S)=1
      3. Ai(i=1,,m)A_{i}(i=1,\cdots,m)不相容,则有fn(i=1mA)=i=1mfn(Ai)f_{n}(\sum _{i=1}^{m}A_{})=\sum _{i=1}^{m}f_{n}(A_{i})
  • 统计概率(经验概率):试验次数增大,频率趋于稳定的常数pp

第三节 概率的公理化定义

  • 事件域:随机事件组成的集合FF

  • 概率的公理化定义:P=P(A)P=P(A)是定义在上的一个实值函数,AFA\in F,而且P=P(A)P=P(A)满足:

    1. 对于任意AA0P(A)10\leq P(A)\leq1
    2. P(S)=1P(S)=1
    3. Ai(i=1,)A_{i}(i=1,\cdots)不相容,则有P(i=1+A)=i=1+P(Ai)P(\sum _{i=1}^{+\infty}A_{})=\sum _{i=1}^{+\infty}P(A_{i})

    PPFF上的概率测度函数,即概率。
    (S,F,P)(S,F,P) 称为概率空间

  • 其他的性质:

    1. 不可能事件的概率为0
    2. 有限可加性
    3. BAB\subset A,则P(AB)=P(A)P(B),P(A)P(B)P(A-B)=P(A)-P(B),P(A)\leq P(B)
    4. P(A+B)=P(A)+(B)P(AB)P(A+B)=P(A)+(B)-P(AB)
    5. 定理:若A1A2,B=i=1+AiA_1\subset A_2\subset\cdots,B=\sum_{i=1}^{+\infty}A_{i},则limn+P(An)=P(B)\lim_{n\rightarrow +\infty}P(A_{n})=P(B)
    6. 定理:若A1A2,B=i=1+AiA_1\supset A_2\supset\cdots,B=\prod_{i=1}^{+\infty}A_{i},则limn+P(An)=P(B)\lim_{n\rightarrow +\infty}P(A_{n})=P(B)

第四节 条件概率和乘法公式

  • 条件概率:在条件AA下事件BB的概率P(BA)P(B|A)

  • P(BA)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}

    • 性质:
      1. P(SB)=1P(S|B)=1
      2. 有限可加性
      3. P(AB)=1P(AB)P(A|B)=1-P(\overline{A}|B)
  • 乘法公式:P(AB)=P(AB)P(B)=P(BA)P(A)P(AB)=P(A|B)P(B)=P(B|A)P(A)(可以扩展到多个)【*P(Aik<iAk)P(A_{i}|\prod_{k<i}A_{k})

第五节 全概率公式与贝叶斯公式

  • 全概率公式:设事件组B1,B2,,BnB_1,B_2,\cdots,B_n,满足下列条件:

    1. i=1nBi=1\sum_{i=1}^{n} B_{i}=1 2) B1,B2,,BnB_1,B_2,\cdots,B_n互不相容 3)P(Bi)>0P(B_{i})>0

    则对于任意AA,有P(A)=i=1nP(Bi)P(ABi)P(A)=\sum_{i=1}^{n}P(B_{i})P(A|B_{i})

    一般来说B1,B2,,BnB_1,B_2,\cdots,B_nAA发生的全部”原因“。

  • BayesBayes公式:条件同全概率公式,则对于任意AA,有P(BiA)=P(Bi)P(ABi)i=1nP(Bi)P(ABi)P(B_{i}|A)=\frac{P(B_{i})P(A|B_{i})}{\sum_{i=1}^{n}P(B_{i})P(A|B_{i})}

    (全概率公式和条件概率公式)

第六节 事件的独立性

  • AABB依概率相互独立:P(AB)=P(A)P(B)P(AB)=P(A)P(B)

  • 独立性下的概率公式:设A1,A2,,AnA_1,A_2,\cdots,A_n

    1. P(A1A2...An)=P(A1)P(A2)...P(An)P(A_1A_2...A_n)=P(A_1)P(A_2)...P(A_n)
    2. P(A1+A2+...+An)=1P(A1)P(A2)...P(An)P(A_1+A_2+...+A_n)=1-P(\overline{A_1})P(\overline{A_2})...P(\overline{A_n})(利用De Morgan公式)

第2章 随机变量及其分布

  • 随机变量 XX
  • 随机变量的分布函数:单调不减,F(+)=1,F()=0F(+\infty)=1,F(-\infty)=0
  • 小概率原理/实际推断原理

常用离散型随机变量

  • 两点分布(0-1分布)---------对应伯努利试验
    P{X=1}=p,P{X=1}=1pP\left\{X=1\right\}=p,P\left\{X=1\right\}=1-p

  • 泊松分布
    P{X=k}=eλλkk!,k=1,2,...P\left\{X=k\right\}=e^{-\lambda}\frac{\lambda^{k}}{k!},k=1,2,...
    记作X(λ)X\sim\prod(\lambda)
    用到了公式ex=xkk!e^{x}=\sum\frac{x^k}{k!}x=λx=\lambda

    ※:查表利用余项和

  • 超几何分布

    M件产品中取n件,其中次品N件,取出次品数X

    P{X=k}=CNkCMNnkCMnP\left\{X=k\right\}=\frac{C_N^kC_{M-N}^{n-k}}{C_{M}^{n}}

    XH(M,n,N)X\sim H(M,n,N)

  • 二项分布

    • n重相互独立的试验------------特殊的:n重伯努利试验

      P{X=k}=Cnkpk(1p)npP\left\{X=k\right\}=C_n^kp^k(1-p)^{n-p}

      XB(n,p)X\sim B(n,p)

​ ※:当n很大,p很小时,二项分布接近泊松分布 B(n,p)(np)B(n,p)\sim\prod(np)

常用连续型随机变量

  • 均匀分布

    概率密度f(x)={1baaxb0f(x)=\left\{\begin{matrix} \frac{1}{b-a} & a\leq x\leq b\\ 0 &其他 \end{matrix}\right.
    ζU[a,b]\zeta\sim U[a,b]
    实例:公共汽车

  • 指数分布
    概率密度f(x)={λeλxx00x<0f(x)=\left\{\begin{matrix} \lambda e^{-\lambda x}& x \geq0\\ 0 &x<0 \end{matrix}\right.
    实例:寿命

  • 韦布尔WeibullWeibull分布
    概率密度f(x)={βη(xx0β)β1e(xx0β)βxx00x<x0f(x)=\left\{\begin{matrix}\frac{\beta }{\eta }\left ( \frac{x-x_0}{\beta } \right )^{\beta -1}e^{-(\frac{x-x_0}{\beta })^{\beta }}& x \geq x_{0}\\ 0 &x<x_{0} \end{matrix}\right.

    β=1\beta=1时就是指数分布

    ζW(η,β,x0)\zeta\sim W(\eta,\beta,x_{0})

  • Γ\Gamma分布

    概率密度f(x)={βαΓ(α)xα1eβxx>00x0f(x)=\left\{\begin{matrix} \frac{\beta ^{\alpha }}{\Gamma \left ( \alpha \right )}x^{\alpha -1}e^{-\beta x}& x >0\\ 0 &x\leq0 \end{matrix}\right.

α=1\alpha=1时就是指数分布 α=n/2,β=1/2\alpha=n/2,\beta=1/2时就是χ2(n)\chi^2(n)分布

Γ(α)=0+tα1etdt\Gamma(\alpha)=\int_{0}^{+\infty}t^{\alpha -1}e^{-t}dt

Γ(1)=1\Gamma(1)=1,Γ(1/2)=π,\Gamma(1/2)=\sqrt{\pi}

Γ(s+1)=sΓ(s)\Gamma(s+1)=s\Gamma(s)

  • 正态分布

    ※:泊松-欧拉积分+ex2=π\int_{-\infty}^{+\infty}e^{-x^2}=\sqrt{\pi}

    概率密度f(x)=1σ2πexp[(xμ)22σ2]f(x)=\frac{1 }{\sigma \sqrt{2\pi}}exp[-\frac{(x-\mu )^{2} }{2\sigma ^{2}}]

    ζN(μ,σ2)\zeta\sim N(\mu,\sigma^2)

    • 性质:对称性,以x轴为渐近线,x=μ±σx=\mu\pm\sigma处有拐点
    • 标准化:F(x)=Φ(xμσ)F(x)=\Phi(\frac{x-\mu}{\sigma})
    • (下侧)分位点:Φ(zα)=α\Phi(z_{\alpha})=\alpha
      • 性质:zα=z1αz_{\alpha}=-z_{1-\alpha}

第3章 二维随机变量

  • 二维随机变量
  • 二维随机变量的概率分布函数 F(x,)=0,F(,y)=0,F(,)=0,F(+,+)=1F(x,-\infty)=0,F(-\infty,y)=0,F(-\infty,-\infty)=0,F(+\infty,+\infty)=1

P{x1xx2,y1yy2}=F(x2,y2)+F(x1,y1)F(x1,y2)F(x2,y1)P\left\{x_1\leq x\leq x_2,y_1\leq y\leq y_2\right\}=F(x_2,y_2)+F(x_1,y_1)-F(x_1,y_2)-F(x_2,y_1)

  • 二维随机变量的分布律

二维离散性随机变量

二维连续型随机变量

Fxy(x0,y0)=f(x0,y0)F_{xy}''(x_0,y_0)=f(x_0,y_0)

  • 均匀分布

    XU(D)X\sim U(D)

  • 二维正态分布

边缘分布函数

FX(x)=F(x,+),FY(y)=F(+,y)F_X(x)=F(x,+\infty),F_Y(y)=F(+\infty,y)

  • 边缘分布律 边缘概率密度

    求x的,就把全体y相加

  • 条件分布律 条件概率密度

    FXY(xy)=f(x,y))fY(y)F_{X|Y}(x|y)=\frac{f(x,y))}{f_Y(y)}

相互独立的随机变量

  • 判定条件
    • 离散型:P(X=xi,Y=yi)=P(X=xi)P(Y=yi)P(X=x_i,Y=y_i)=P(X=x_i)P(Y=y_i)
    • 连续型:f(X=xi,Y=yi)=fX(x)fY(y)f(X=x_i,Y=y_i)=f_X(x)f_Y(y)几乎处处

第4章 随机变量的函数分布

第5章 随机变量的数字特征

第6章 大数定理和中心极限定理

第7章 统计总体和样本

第8章 参数估计

第9章 假设检验

第10章 随机过程的基本概念

第11章 平稳过程

第12章 马尔科夫链

第一节 马尔科夫链的概念

1.马尔科夫链的定义

P{X(tm+1)=jm+1X(t1)=j1,,X(tm)=jm}=P{X(tm+1)=jm+1X(tm)=jm}P \left\{ X(t_{m+1})=j_{m+1}\mid X(t_{1})=j_{1},\cdots,X(t_{m})=j_{m} \right\}=P \left\{ X(t_{m+1})=j_{m+1}\mid X(t_{m})=j_{m} \right\}
此过程称为马尔科夫链,该式称为马尔可夫性或者无后效性。
直观含义:当一直系统的当前情况的条件下,系统将来的发展与系统的过去无关。
(一般不证明,凭感觉)

2.马尔科夫链分类

状态空间SS是离散的(可谓有限集或者可列集)(相当于值域),参数集TT可为离散或者连续两类。

3.离散参数马尔科夫链

转移概率

在离散参数马尔科夫链中,条件概率P{X(tm+1)=jX(tm)=i}=pij(tm)P \left\{ X(t_{m+1})=j\mid X(t_{m})=i \right\}=p_{ij}(t_{m})称为X(t)X(t)在时刻tmt_{m}由状态i一步到j的一步转移概率,成为转移概率。

  • 经过nn步的转移概率P{X(tm+n)=jX(tm)=i}=pij(n)(tm)P \left\{ X(t_{m+n})=j\mid X(t_{m})=i \right\}=p^{(n)}_{ij}(t_{m})
  • 性质:
    1. pij(n)(tm)0p^{(n)}_{ij}(t_{m})\geq 0
    2. jspij(n)(tm)=1\sum _{j\in s} p^{(n)}_{ij}(t_{m})= 1

4.离散参数齐次马尔科夫链(重点)

定义:离散参数马尔科夫链的一步转移概率pijp_{ij}与时刻tmt_{m}无关。
eg: 伯努利序列 (事件相互独立,状态空间S={01}S=\left\{0,1\right\},发生的概率是pp1p1-p

第二节 参数离散的齐次马尔科夫链

1. 转移概率矩阵

{Xt,t=t0,,tn,}\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}是齐次马尔科夫链,由于状态空间SS是离散的,不妨设其状态空间S={0,1,2,,n,}S=\left\{0,1,2,\cdots,n,\cdots\right\}
则对内的任意两个状态iijjpijp_{ij}排序一个矩阵。

[p00p01p0jp10p11p1jpi0pi1pij]\begin{bmatrix} p_{00}& p_{01} & \cdots &p_{0j} &\cdots\\ p_{10} &p_{11} &\cdots &p_{1j} & \cdots \\ \vdots & \vdots && \vdots \\p_{i0} &p_{i1} &\cdots &p_{ij} & \cdots \\\vdots & \vdots && \vdots \\\end{bmatrix}

称为(一步)转移概率矩阵。
pij=P{X(tm+1=jX(ttm))=i}p_{ij}=P\left\{X(t_{m+1}=j\mid X(t_{t_{m}}))=i \right\} (注意是从iijjii在前面)
eg: 伯努利序列,一维随机游动,成功流(第nn次试验接连第kk次成功)

2.切普曼-科尔莫戈罗夫方程

  • 定理 :
    {Xt,t=t0,,tn,}\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}是马尔科夫链,则pij(n+l)(tm)=kpik(n)(tm)pkj(l)(tm+n)p^{(n+l)}_{ij}(t_{m})=\sum_{k} p^{(n)}_{ik}(t_{m})p^{(l)}_{kj}(t_{m+n})(联想到矩阵的乘法),可写成矩阵形式p(n+l)(tm)=p(n)(tm)p(l)(tm+n)p^{(n+l)}(t_{m})=p^{(n)}(t_{m})p^{(l)}(t_{m+n})。也即是说,低步转移矩概率阵能够构造高步转移概率矩阵。

    如果是齐次马尔可夫链,可以写成pij(n+l)=kpik(n)pkj(l)p^{(n+l)}_{ij}=\sum_{k} p^{(n)}_{ik}p^{(l)}_{kj},可写成矩阵形式p(n+l)=p(n)p(l)p^{(n+l)}=p^{(n)}p^{(l)}。所以,可以得到p(n)=pnp^{(n)}=p^{n}

3.有限概率分布

(1)初始分布

​ 马尔科夫链{Xt,t=t0,,tn,}\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}在初始时刻t0t_{0}的概率分布pj(t0)=P{X(t0)=j},j=0,1,2,p_{j}(t_{0})=P\left\{X(t_{0})=j\right\},j=0,1,2,\cdots,称为初始分布.

(2)绝对概率(瞬时概率)

​ 马尔可夫链{Xt,t=t0,,tn,}\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}在任何时刻tnt_{n}的一维概率分布pj(t0n)=P{X(tn)=j},j=0,1,2,p_{j}(t_{0n})=P\left\{X(t_{n})=j\right\},j=0,1,2,\cdots

(3)结论

​ 齐次马尔可夫链在时刻tnt_{n}的瞬时概率完全地由初始分布和n步转移概率所确定。
由全概率公式得到pj(tn)=P{X(tn)=j}=i=0P{X(t0)=i}P{X(tn)=jX(t0)=i}=i=0pt(t0)pij(n)t0p_{j}(t_{n})=P\left\{X(t_{n})=j\right\}=\sum_{i=0}^{\infty}P\left\{X(t_{0})=i\right\}*P\left\{X(t_{n})=j \mid X(t_{0})=i\right\}=\sum_{i=0}^{\infty}p_{t}(t_{0})p^{(n)}_{ij}t_{0}

​ 若马氏链具有齐次性,则上式化为 pj(tn)=i=0pt(t0)pij(n)p_{j}(t_{n})=\sum_{i=0}^{\infty}p_{t}(t_{0})p^{(n)}_{ij}

​ 写成向量形式得(p0(tn),p1(ttn),,pj(tn),)=(p0(t0),p1(t0),,pj(t0),)P(n)(p_{0}(t_{n}),p_{1}(t_{tn}),\cdots,p_{j}(t_{n}),\cdots)=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)*P^{(n)}

(4)n维概率分布(有限维分布)

设齐次马氏链的参数集和状态空间都是非负整数集

  • 定理:

    设齐次马氏链{X,n=0,1,2,}\left\{X_{ },n=0,1,2,\cdots\right\}的状态空间S={0,1,2,,i,}S=\left\{0,1,2,\cdots,i,\cdots\right\},则对TT内任意nn个非负整数k1<k2<k3<<knk_{1}<k_{2}<k_{3}<\cdots<k_{n}SS内任意nn个状态j1,j2,,jnj_{1},j_{2},\cdots,j_{n},有P{X(k1=j1,X(k2)=j2,,X(kn)=jn)}=i=0+pi(0)pij1k1pj1j2k2k1pjn1,jn(knkn1)P\left\{X(k_{1}=j_{1},X(k_{2})=j_{2},\cdots,X(k_{n})=j_{n})\right\}=\sum^{+\infty}_{i=0}p_{i}(0)*p_{ij_{1}}^{k_{1}}*p^{k_2-k_{1}}_{j_{1}j_{2}}*\cdots*p_{j_{n-1},j_{n}}^{(k_{n}-k_{n-1})}

    (对于做题来说并没有什么用)

    (用乘法公式,概率公式现场推,运用马氏链的性质)

4.平稳分布

  • 定义:对于齐次马尔科夫链一步转移概率矩阵P=(pij),pij=P{X(tm+1)=jX(tm)=i}P=(p_{ij}),p_{ij}=P\left\{X(t_{m+1})=j\mid X(t_m)=i\right\}。一维概率分布为pj(tn)=pj,j=0,1,2,p_{j}(t_{n})=p_{j},j=0,1,2,\cdots。如果存在概率分布pjpj0,p_{j},p_{j} \geq 0,满足pj=i=0=+pipij,j=0,1,2,p_{j}=\sum^{=+\infty}_{i=0}p_{i}p_{ij},j=0,1,2,\cdots,则称pj,j=0,1,2,p_{j},j=0,1,2,\cdots为平稳分布。称X(t)X(t)具有平稳性,是平稳齐次马尔科夫链。

    (p0(tn),p1(ttn),,pj(tn),)=(p0(t0),p1(t0),,pj(t0),)P(n)=(p0(t0),p1(t0),,pj(t0),)(p_{0}(t_{n}),p_{1}(t_{tn}),\cdots,p_{j}(t_{n}),\cdots)=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)*P^{(n)}=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)

    (其实就是不动点)

  • 定理:

    如果齐次马尔可夫链{Xt,t=t0,,tn,}\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}的初始分布pj(tn)=P{X(t0=j)},j=0,1,2,p_{j}(t_{n})=P\left\{X(t_{0}=j)\right\},j=0,1,2,\cdots是一个平稳分布。则对n,pj(tn)=P{X(t0=j)}=pj(t0),j=0,1,2,\forall n,p_{j}(t_{n})=P\left\{X(t_{0}=j)\right\}=p_{j}(t_{0}),j=0,1,2,\cdots

  • 做题:
    设出相应的值p1,p2,p3,p_{1},p_{2},p_{3},\cdots,然后解方程。值得注意的是,记得验证最后这些值的和须等于1。


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!