<aside> 💡

查看全集：概率与统计/Probability & Statistics

</aside>

一、基本概念

1.1 似然函数 (Likelihood Function)

设观测数据 $x_1, x_2, \dots, x_n$ 是独立同分布 (iid) 随机变量 $X_1, X_2, \dots, X_n$ 的样本值，其概率密度函数为 $f(x|\theta)$，其中 $\theta \in \Theta \subset \mathbb{R}^k$。似然函数定义为：

$$ L(\theta) = \prod_{i=1}^n f(x_i|\theta) $$

对应的对数似然函数 (Log-Likelihood Function) 为：

$$ \ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i|\theta)  $$

1.2 最大似然估计 (MLE)

MLE 的核心思想：选择使得观测数据出现概率最大的参数值 $\hat{\theta}$。

求解步骤：

1. 构建似然函数 $L(\theta)$ 或对数似然函数 $\ell(\theta)$
2. 对 $\ell(\theta)$ 求导并令导数为零：$\frac{\partial \ell}{\partial \theta} = 0$
3. 验证二阶导数 $\frac{\partial^2 \ell}{\partial \theta^2} < 0$ 确保极大值

二、典型分布案例

2.1 泊松分布案例 | Poisson Distribution

参数: $\lambda$

概率质量函数:

$$ f(x|\lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x=0,1,2,\dots  $$