1. 概率论基本概念

随机试验

定义：随机试验

满足以下三个条件的试验称为随机试验，记为 $E$：

可在相同条件下重复进行；
试验的所有可能结果已知，且不止一个；
每次试验前无法确定具体出现哪个结果。

每进行一次试验，必然出现且只能出现其中一个基本结果；任何事件都由若干基本结果组成。

样本空间与随机事件

定义：样本空间

随机试验 $E$ 的所有可能结果组成的集合称为样本空间，记为 $\Omega$。$\Omega$ 中的每个元素称为样本点，记为 $\omega$。

定义：随机事件

样本空间 $\Omega$ 的子集称为随机事件，简称事件，常用大写字母 $A, B, C$ 等表示。

事件按特殊性分为三类：

基本事件：由单个样本点组成的单点集 $\{\omega\}$。
必然事件：样本空间 $\Omega$ 本身，每次试验必然发生。
不可能事件：空集 $\emptyset$，每次试验都不发生。

事件的关系与运算

关系／运算	记号	含义
包含	$A \subset B$	$A$ 发生 $\Rightarrow$ $B$ 发生
相等	$A = B$	$A \subset B$ 且 $B \subset A$
并	$A \cup B$	$A$、$B$ 至少一个发生
交	$A \cap B$	$A$、$B$ 同时发生
差	$A \setminus B$	$A$ 发生且 $B$ 不发生
互斥	$A \cap B = \emptyset$	$A$、$B$ 不能同时发生
对立	$\bar{A} = \Omega \setminus A$	$A \cup \bar{A}=\Omega$，$A \cap \bar{A}=\emptyset$

Code

\tikzset{
  every node/.style={font=\sffamily\normalsize},
  every path/.style={line width=1.5pt}
}
\begin{tikzpicture}
  \draw (0,0) rectangle (6,4);
  \node[above right] at (0,4) {$\Omega$};
  \draw[fill=red!20] (3,2) circle (1.8cm);
  \node[above=1.6cm] at (3,2) {$B$};
  \draw[fill=blue!20] (3,2) circle (0.9cm);
  \node at (3,2) {$A$};
\end{tikzpicture}

Code

\tikzset{
  every node/.style={font=\sffamily\normalsize},
  every path/.style={line width=1.5pt}
}
\begin{tikzpicture}
  \draw (0,0) rectangle (6,4);
  \node[above right] at (0,4) {$\Omega$};
  \draw[fill=blue!20] (2,2) circle (1.2cm);
  \node at (2,2) {$A$};
  \draw[fill=red!20] (4,2) circle (1.2cm);
  \node at (4,2) {$B$};
\end{tikzpicture}

Code

\tikzset{
  every node/.style={font=\sffamily\normalsize},
  every path/.style={line width=1.5pt}
}
\begin{tikzpicture}
  \draw[fill=red!20] (0,0) rectangle (6,4);
  \node[above right] at (0,4) {$\Omega$};
  \draw[fill=blue!20] (3,2) circle (1.5cm);
  \node at (3,2) {$A$};
  \node at (5,3.2) {$\bar{A}$};
\end{tikzpicture}

运算性质

事件的运算满足以下基本定律：

定律	公式
交换律	$A \cup B = B \cup A$，$A \cap B = B \cap A$
结合律	$(A \cup B) \cup C = A \cup (B \cup C)$
分配律	$A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$
差化积	$A \setminus B = A\bar{B} = A \setminus AB$

定理：德摩根律（对偶律）

对有限个或可列无穷多个事件 $\{A_i\}$，恒有： \[ \overline{\bigcup_{i=1}^{n} A_i} = \bigcap_{i=1}^{n} \bar{A}_i, \qquad \overline{\bigcap_{i=1}^{n} A_i} = \bigcup_{i=1}^{n} \bar{A}_i \]

2. 随机变量

随机变量 (Random Variable)

设随机试验的样本空间为 $S=\{e\}$，$X=X(e)$ 是定义在 $S$ 上的实值单值函数，称其为随机变量。

将复杂的试验结果映射为数字，方便数学处理。

随机变量的分布函数 (Distribution Function)

$X$ 是随机变量，$x$是任意实数

\[F(x) = P\{X \le x\}\]

表示随机变量落入 $(-\infty, x]$ 区间的概率，称为$X$的分布函数(CDF累积分布)。

单调性：是一个不减函数
规范性：$F(-\infty) = 0$，$F(+\infty) = 1$
右连续性：$F(x+0) = F(x)$
区间概率计算： \[P\{x_1<X\le x_2\}=P\{X\le x_2\}-P\{X\le x_1\}=F(x_2)-F(x_1)\]

就比如著名Logistic distribution

离散型随机变量及其分布律

所有可能取的值为有限个或可列无穷多个的随机变量。

分布律/概率分布 (Probability Mass Function)： \[P\{X = x_k\} = p_k\]

$X_1$	$x_1$	$x_2$	$\cdots$	$x_k$	$\cdots$
$p_k$	$p_1$	$p_2$	$\cdots$	$p_k$	$\cdots$

需满足

非负性：$p_k \ge 0$
规范性：$\sum p_k = 1$

常见分布：
- 0-1 分布（两点分布）：用于描述只有两种结果的试验（如抛硬币） [8, 9]。
- 二项分布 $b(n,p)$：$n$ 重伯努利试验中成功的次数，公式为 $P\{X=k\} = \binom{n}{k}p^k(1-p)^{n-k}$ [9, 10]。
- 泊松分布 $P(\lambda)$：常用于描述稀有事件发生的次数 [11-13]。

4. 连续型随机变量及其概率密度

定义：其分布函数可表示为某非负函数 $f(x)$（概率密度函数）的积分形式：$F(x) = \int_{-\infty}^{x} f(t) dt$ [14, 15]。
概率密度 $f(x)$ 的性质：$f(x) \ge 0$ 且 $\int_{-\infty}^{\infty} f(x) dx = 1$ [14, 16]。
常见分布：
- 均匀分布 $U(a,b)$：概率均匀地分布在某区间上 [17, 18]。
- 指数分布 $E(\theta)$：具有重要的无记忆性，常用于可靠性和排队论 [17, 19, 20]。
- 正态分布 $N(\mu, \sigma^2)$：最重要的分布，曲线呈钟形且关于 $x=\mu$ 对称 [19, 21, 22]。

5. 随机变量函数的分布

研究当 $X$ 服从某种分布时，$Y = g(X)$ 的分布规律 [23, 24]。
方法：通常先利用定义求分布函数 $F_Y(y) = P\{g(X) \le y\}$，如果是连续型再通过求导得到密度函数 $f_Y(y)$ [24-26]。

3. 多维随机变量

二维随机变量

设E是一个随机实验,它的样本空间为$\Omega=\{e\}$,若$X(e)$,$Y(e)$是定义在同一个空间中的研究多个随机变量构成的向量（如 $(X, Y)$），称为二维随机变量或二维随机向量。 * 联合分布函数：定义为 $F(x, y) = P\{X \le x, Y \le y\}$ 。它具有单调性、规范性（范围在 $[3]$）、右连续性。 * 落入矩形区域的概率：$P\{x_1 < X \le x_2, y_1 < Y \le y_2\} = F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1)$

离散型与连续型联合分布

二维离散型：主要掌握联合分布律 $P\{X=x_i, Y=y_j\} = p_{ij}$，且所有 $p_{ij}$ 之和为 1 。
二维连续型：存在非负函数 $f(x, y)$（联合概率密度），使得分布函数可以通过二重积分表示。
性质：$f(x, y) \ge 0$ 且在全平面上的积分等于 1 。

边缘分布 (Marginal Distribution)

定义：从联合分布中分离出单个随机变量的分布。
离散型边缘分布：通过对另一变量求和得到（行和或列和）。
连续型边缘密度：$f_X(x) = \int_{-\infty}^{\infty} f(x, y) dy$ 以及 $f_Y(y) = \int_{-\infty}^{\infty} f(x, y) dx$ 。

条件分布 (Conditional Distribution)

离散型：在已知 $Y=y_j$ 的条件下 $X$ 的分布 $P\{X=x_i | Y=y_j\} = \frac{p_{ij}}{p_{\cdot j}}$ 。
连续型：条件概率密度 $f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)}$ 。

随机变量的独立性

判定标准：若对所有 $x, y$，都有 $F(x, y) = F_X(x)F_Y(y)$，则称 $X$ 与 $Y$ 相互独立。
连续型简便判定：$f(x, y) = f_X(x)f_Y(y)$ 。

两个随机变量函数的分布

和的分布 (Z = X + Y)：使用卷积公式（Convolution Formula）计算。
- 重要结论：两个独立的正态分布之和仍服从正态分布。
最大值与最小值分布：
- $M = \max(X, Y)$ 的分布函数为 $F_X(z)F_Y(z)$（当独立时）。
- $N = \min(X, Y)$ 的分布函数为 $1 - [1-F_X(z)][1-F_Y(z)]$（当独立时）。
商与积的分布：如 $Z = Y/X$ 或 $Z = XY$ 的分布计算。

随机变量的数字特征

大数定律与中心极限定理

数理统计的基本概念

参数估计

假设检验

方差分析

回归分析

Reuse

CC BY-NC-SA 4.0

--- title: 概率论与数理统计 author: QMD date: 2026/04/10 description: 一文快速掌握全书 categories: 速通 engine: knitr --- {{< include /setup/cf5733e5-0370-4aae-8689-61bad1dd9ec0集cf5733e5-0370-4aae-8689-61bad1dd9ec0合.qmd >}} # 1. 概率论基本概念 ## 随机试验 ::: {.callout-note title="定义：随机试验"} 满足以下三个条件的试验称为**随机试验**，记为 $E$： 1. 可在相同条件下重复进行； 2. 试验的所有可能结果已知，且不止一个； 3. 每次试验前无法确定具体出现哪个结果。 ::: 每进行一次试验，必然出现且只能出现其中一个基本结果；任何事件都由若干基本结果组成。 ## 样本空间与随机事件 ::: {.callout-note title="定义：样本空间"} 随机试验 $E$ 的所有可能结果组成的集合称为**样本空间**，记为 $\Omega$。$\Omega$ 中的每个元素称为**样本点**，记为 $\omega$。 ::: ::: {.callout-note title="定义：随机事件"} 样本空间 $\Omega$ 的子集称为**随机事件**，简称**事件**，常用大写字母 $A, B, C$ 等表示。 ::: 事件按特殊性分为三类： - **基本事件**：由单个样本点组成的单点集 $\{\omega\}$。 - **必然事件**：样本空间 $\Omega$ 本身，每次试验必然发生。 - **不可能事件**：空集 $\emptyset$，每次试验都不发生。 ## 事件的关系与运算 | 关系／运算 | 记号 | 含义 | | ----- | ------------------------------ | -------------------------------------------------- | | 包含 | $A \subset B$ | $A$ 发生 $\Rightarrow$ $B$ 发生 | | 相等 | $A = B$ | $A \subset B$ 且 $B \subset A$ | | 并 | $A \cup B$ | $A$、$B$ 至少一个发生 | | 交 | $A \cap B$ | $A$、$B$ 同时发生 | | 差 | $A \setminus B$ | $A$ 发生且 $B$ 不发生 | | 互斥 | $A \cap B = \emptyset$ | $A$、$B$ 不能同时发生 | | 对立 | $\bar{A} = \Omega \setminus A$ | $A \cup \bar{A}=\Omega$，$A \cap \bar{A}=\emptyset$ | :::: {.columns} ::: {.column width="33%"} ```{venn} #| fig-cap: "包含关系 $A \\subset B$" \begin{tikzpicture} \draw (0,0) rectangle (6,4); \node[above right] at (0,4) {$\Omega$}; \draw[fill=red!20] (3,2) circle (1.8cm); \node[above=1.6cm] at (3,2) {$B$}; \draw[fill=blue!20] (3,2) circle (0.9cm); \node at (3,2) {$A$}; \end{tikzpicture} ``` ::: ::: {.column width="33%"} ```{venn} #| fig-cap: "互斥 $A \\cap B = \\emptyset$" \begin{tikzpicture} \draw (0,0) rectangle (6,4); \node[above right] at (0,4) {$\Omega$}; \draw[fill=blue!20] (2,2) circle (1.2cm); \node at (2,2) {$A$}; \draw[fill=red!20] (4,2) circle (1.2cm); \node at (4,2) {$B$}; \end{tikzpicture} ``` ::: ::: {.column width="33%"} ```{venn} #| fig-cap: "对立事件 $\\bar{A} = \\Omega \\setminus A$" \begin{tikzpicture} \draw[fill=red!20] (0,0) rectangle (6,4); \node[above right] at (0,4) {$\Omega$}; \draw[fill=blue!20] (3,2) circle (1.5cm); \node at (3,2) {$A$}; \node at (5,3.2) {$\bar{A}$}; \end{tikzpicture} ``` ::: :::: ## 运算性质事件的运算满足以下基本定律： | 定律 | 公式 | | --- | ------------------------------------------------ | | 交换律 | $A \cup B = B \cup A$，$A \cap B = B \cap A$ | | 结合律 | $(A \cup B) \cup C = A \cup (B \cup C)$ | | 分配律 | $A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$ | | 差化积 | $A \setminus B = A\bar{B} = A \setminus AB$ | ::: {.callout-tip title="定理：德摩根律（对偶律）"} 对有限个或可列无穷多个事件 $\{A_i\}$，恒有： $$ \overline{\bigcup_{i=1}^{n} A_i} = \bigcap_{i=1}^{n} \bar{A}_i, \qquad \overline{\bigcap_{i=1}^{n} A_i} = \bigcup_{i=1}^{n} \bar{A}_i $$ ::: # 2. 随机变量 ## 随机变量 (Random Variable) 设随机试验的样本空间为 $S=\{e\}$，$X=X(e)$ 是定义在 $S$ 上的实值单值函数，称其为**随机变量**。将复杂的试验结果映射为数字，方便数学处理。 ## 随机变量的分布函数 (Distribution Function) $X$ 是随机变量，$x$是任意实数 $$F(x) = P\{X \le x\}$$ 表示随机变量落入 $(-\infty, x]$ 区间的概率，称为$X$的**分布函数(CDF累积分布)**。 1. **单调性**：是一个不减函数 2. **规范性**：$F(-\infty) = 0$，$F(+\infty) = 1$ 3. **右连续性**：$F(x+0) = F(x)$ 4. **区间概率计算**： $$P\{x_1<X\le x_2\}=P\{X\le x_2\}-P\{X\le x_1\}=F(x_2)-F(x_1)$$ 就比如著名Logistic distribution ## 离散型随机变量及其分布律所有可能取的值为有限个或可列无穷多个的随机变量。 **分布律/概率分布 (Probability Mass Function)**： $$P\{X = x_k\} = p_k$$ | $X_1$ | $x_1$ | $x_2$ | $\cdots$ | $x_k$ | $\cdots$ | | ----- | ----- | ----- | -------- | ----- | -------- | | $p_k$ | $p_1$ | $p_2$ | $\cdots$ | $p_k$ | $\cdots$ | 需满足 1. 非负性：$p_k \ge 0$ 2. 规范性：$\sum p_k = 1$ * **常见分布**： * **0-1 分布（两点分布）**：用于描述只有两种结果的试验（如抛硬币） [8, 9]。 * **二项分布 $b(n,p)$**：$n$ 重伯努利试验中成功的次数，公式为 $P\{X=k\} = \binom{n}{k}p^k(1-p)^{n-k}$ [9, 10]。 * **泊松分布 $P(\lambda)$**：常用于描述稀有事件发生的次数 [11-13]。 #### 4. 连续型随机变量及其概率密度 * **定义**：其分布函数可表示为某非负函数 $f(x)$（**概率密度函数**）的积分形式：$F(x) = \int_{-\infty}^{x} f(t) dt$ [14, 15]。 * **概率密度 $f(x)$ 的性质**：$f(x) \ge 0$ 且 $\int_{-\infty}^{\infty} f(x) dx = 1$ [14, 16]。 * **常见分布**： * **均匀分布 $U(a,b)$**：概率均匀地分布在某区间上 [17, 18]。 * **指数分布 $E(\theta)$**：具有重要的**无记忆性**，常用于可靠性和排队论 [17, 19, 20]。 * **正态分布 $N(\mu, \sigma^2)$**：最重要的分布，曲线呈钟形且关于 $x=\mu$ 对称 [19, 21, 22]。 #### 5. 随机变量函数的分布 * 研究当 $X$ 服从某种分布时，$Y = g(X)$ 的分布规律 [23, 24]。 * **方法**：通常先利用定义求分布函数 $F_Y(y) = P\{g(X) \le y\}$，如果是连续型再通过求导得到密度函数 $f_Y(y)$ [24-26]。 # 3. 多维随机变量 ## 二维随机变量设E是一个随机实验,它的样本空间为$\Omega=\{e\}$,若$X(e)$,$Y(e)$是定义在同一个空间中的研究多个随机变量构成的向量（如 $(X, Y)$），称为**二维随机变量**或**二维随机向量**。 * **联合分布函数**：定义为 $F(x, y) = P\{X \le x, Y \le y\}$ 。它具有单调性、规范性（范围在 $[3]$）、右连续性。 * **落入矩形区域的概率**：$P\{x_1 < X \le x_2, y_1 < Y \le y_2\} = F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1)$ ### 离散型与连续型联合分布 * **二维离散型**：主要掌握**联合分布律** $P\{X=x_i, Y=y_j\} = p_{ij}$，且所有 $p_{ij}$ 之和为 1 。 * **二维连续型**：存在非负函数 $f(x, y)$（**联合概率密度**），使得分布函数可以通过二重积分表示。 * **性质**：$f(x, y) \ge 0$ 且在全平面上的积分等于 1 。 ## 边缘分布 (Marginal Distribution) * **定义**：从联合分布中分离出单个随机变量的分布。 * **离散型边缘分布**：通过对另一变量求和得到（行和或列和）。 * **连续型边缘密度**：$f_X(x) = \int_{-\infty}^{\infty} f(x, y) dy$ 以及 $f_Y(y) = \int_{-\infty}^{\infty} f(x, y) dx$ 。 ## 条件分布 (Conditional Distribution) * **离散型**：在已知 $Y=y_j$ 的条件下 $X$ 的分布 $P\{X=x_i | Y=y_j\} = \frac{p_{ij}}{p_{\cdot j}}$ 。 * **连续型**：**条件概率密度** $f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)}$ 。 ## 随机变量的独立性 * **判定标准**：若对所有 $x, y$，都有 $F(x, y) = F_X(x)F_Y(y)$，则称 $X$ 与 $Y$ 相互独立。 * **连续型简便判定**：$f(x, y) = f_X(x)f_Y(y)$ 。 ## 两个随机变量函数的分布 * **和的分布 (Z = X + Y)**：使用**卷积公式**（Convolution Formula）计算。 * *重要结论*：两个独立的**正态分布**之和仍服从正态分布。 * **最大值与最小值分布**： * $M = \max(X, Y)$ 的分布函数为 $F_X(z)F_Y(z)$（当独立时）。 * $N = \min(X, Y)$ 的分布函数为 $1 - [1-F_X(z)][1-F_Y(z)]$（当独立时）。 * **商与积的分布**：如 $Z = Y/X$ 或 $Z = XY$ 的分布计算。 # 随机变量的数字特征 # 大数定律与中心极限定理 # 数理统计的基本概念 # 参数估计 # 假设检验 # 方差分析 # 回归分析

关系／运算	记号	含义
包含	\(A \subset B\)	\(A\) 发生 \(\Rightarrow\) \(B\) 发生
相等	\(A = B\)	\(A \subset B\) 且 \(B \subset A\)
并	\(A \cup B\)	\(A\)、\(B\) 至少一个发生
交	\(A \cap B\)	\(A\)、\(B\) 同时发生
差	\(A \setminus B\)	\(A\) 发生且 \(B\) 不发生
互斥	\(A \cap B = \emptyset\)	\(A\)、\(B\) 不能同时发生
对立	\(\bar{A} = \Omega \setminus A\)	\(A \cup \bar{A}=\Omega\)，\(A \cap \bar{A}=\emptyset\)