基本概念

参数估计问题

设观测数据 $x_1,...,x_n$ 为独立同分布随机变量 $X_1,...,X_n$ 的实现值，其概率质量/密度函数为 $f(x|\theta)$，其中 $\theta \in \Theta$ 为未知参数。我们需要通过样本对参数进行估计。

两种主要方法：

1. 矩估计法 (Method of Moments)
2. 最大似然估计法 (Maximum Likelihood Estimation)

矩的基本定义

对于随机变量 $X$：

• 第k阶总体矩：\mu_k = E(X^k) \quad k=1,2,...
• 第k阶样本矩：\hat{\mu}k = \frac{1}{n}\sum{i=1}^n X_i^k

重要性质：$\hat{\mu}_k$ 是 $\mu_k$ 的无偏估计量，即 $E(\hat{\mu}_k) = \mu_k$

矩估计法步骤

1. 建立方程：将前k个总体矩与对应的样本矩相等
2. 解方程组：从方程组中解出参数估计量
3. 代入样本值：得到具体的参数估计值

符号约定

• $\hat{\theta}$：参数的估计量（随机变量）
• $\theta$：参数真值
• $\Theta$：参数空间（所有可能的参数取值范围）

典型分布应用