一、基本概念

1.1 似然函数 (Likelihood Function)

设观测数据 $x_1, x_2, \dots, x_n$ 是独立同分布 (iid) 随机变量 $X_1, X_2, \dots, X_n$ 的样本值，其概率密度函数为 $f(x|\theta)$，其中 $\theta \in \Theta \subset \mathbb{R}^k$。似然函数定义为：

L(\theta) = \prod_{i=1}^n f(x_i|\theta)

对应的对数似然函数 (Log-Likelihood Function) 为：

\ell(\theta) = \log L(\theta) = \sum_{i=1}^n \log f(x_i|\theta)

1.2 最大似然估计 (MLE)

MLE 的核心思想：选择使得观测数据出现概率最大的参数值 $\hat{\theta}$。

求解步骤：

1. 构建似然函数 $L(\theta)$ 或对数似然函数 $\ell(\theta)$
2. 对 $\ell(\theta)$ 求导并令导数为零：$\frac{\partial \ell}{\partial \theta} = 0$
3. 验证二阶导数 $\frac{\partial^2 \ell}{\partial \theta^2} < 0$ 确保极大值

二、典型分布案例

2.1 泊松分布案例 | Poisson Distribution

参数: $\lambda$

概率质量函数:

f(x|\lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x=0,1,2,\dots

推导过程

1. 似然函数：

L(\lambda) = \prod_{i=1}^n \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{x_1!x_2!\dots x_n!}

2. 对数似然函数（忽略常数项）：

\ell(\lambda) = \left(\sum_{i=1}^n x_i\right) \log \lambda - n\lambda

3. 求导并解方程：

\frac{d\ell}{d\lambda} = \frac{\sum x_i}{\lambda} - n = 0 \quad \Rightarrow \quad \hat{\lambda} = \bar{x}

学习建议：重点理解如何从概率质量函数构建似然函数，并掌握对数转换简化计算的技巧。