一、渐近正态性 | Asymptotic Normality

1.1 基本定理

设 $\thetâ_n$ 为参数 $\theta \in \Theta \subset \mathbb{R}$ 的最大似然估计量 (Maximum Likelihood Estimator, MLE)，基于独立同分布 (iid) 样本 $X_1,\dots,X_n$。当样本量 $n$ 足够大时，MLE 的分布近似满足：

\thetâ_n \stackrel{\cdot}{\sim} N\left( \theta,\, \frac{I(\theta)^{-1}}{n} \right)

其中 $I(\theta)$ 为 Fisher 信息量 (Fisher Information)，由单个样本计算得到。

特性：

• MLE 是渐近无偏的 (asymptotically unbiased)
• 但小样本下可能存在偏差：$E(\thetâ_n) \neq \theta$

二、Fisher 信息量 | Fisher Information

2.1 定义与计算

设随机变量 $X$ 的概率密度函数为 $f(x|\theta)$，则 Fisher 信息量定义为：

I(\theta) = -E\left[ \frac{d^2}{d\theta^2} \log f(X|\theta) \right]

矩阵形式（当 $\theta$ 为向量时）：

I(\theta)_{ij} = -E\left[ \frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(X|\theta) \right]

矩阵 $I(\theta)$ 对称且半正定，反映单个样本包含的关于 $\theta$ 的信息量。

三、经典案例

3.1 伯努利分布 | Bernoulli Distribution

模型设定：