【概率论基本概念01】点估计

一、说明

关于概率和统计的学习，需要从根本上、原始概念中一点一点积累，这些基本概念的头绪特别多，一次性交待它们的面有困难，我们只能从点上入手，将点与点的关系连成面，最后完成系统学习的目的，这是一个长期任务。

二、关于估计的基本概念

2.1 我们将学习哪些关于“估计”内容

我们将主要指向如下学习内容：

• 学习如何找到总体参数的最大似然估计量。
• 学习如何找到总体参数的矩估计方法。
• 学习如何检查估计量对于特定参数是否无偏。
• 了解相关证明所涉及的步骤。
• 如何将学到的方法应用于新问题。

2.2 哪些统计量需要“估计”

  在本节中，我们将为常见的总体参数找到良好的“点估计”和“置信区间”，包括：

• 总体平均值，$\mu$
• 两个总体平均值的差异，${\mu }_1-{\mu }_2$
• 总体差异，${\sigma }^2$
• 两个总体方差的比率，$\frac{{\sigma }_1^2}{{\sigma }_2^2}$
• 总体比例，$p$
• 两个总体比例的差异，$p_1-p_2$

假设我们有一个未知的总体参数，例如总体平均值

μ

\\mu

μ或总体比例

p

p

p，我们想要估算。例如，假设我们有兴趣估算：

p= 拥有智能手机的 18-24 岁美国大学生的比例（未知） p= 阿尔茨海默病患者达到特定里程碑所需的（未知）平均天数   无论以上哪种情况，我们都不可能调查整个人口。也就是说，我们不可能调查所有18至24岁的美国大学生。我们也不可能调查所有阿尔茨海默病患者。因此，我们当然会采取自然而然的做法，从总体中随机抽取样本，并使用所得数据来估计总体参数的值。当然，我们希望这个估计值在某种程度上是“准确的”。

在本文中，我们将学习两种方法，即最大似然法和矩量法，用于推导总体参数“良好”点估计的公式。我们还将学习一种评估点估计是否“良好”的方法。我们将通过定义估计无偏的均值来做到这一点。

三、点估计的定义

我们将从一些正式的定义开始本课。在这样做的时候，回想一下，我们表示随机样本中产生的随机变量以下标大写字母表示：

X

1

，

X

2

，

⋯

，

X

n

X_1，X_2，\\cdots，X_n

X1​，X2​，⋯，Xn​

然后将特定随机样本的相应观测值表示为下标小写字母：

x

1

,

x

2

,

⋯
 

,

x

n

x_1, x_2, \\cdots, x_n

x1​,x2​,⋯,xn​

3.1 关于参数空间

参数可能值的范围

θ

\\theta

θ被称为参数空间

Ω

\\Omega

Ω（希腊字母“omega”）。 例如，如果表示所有大学生的平均绩点，则参数空间（假设采用 4 分制评分标准）为：

Ω

=

{

μ

:

0

≤

μ

≤

4

}

\\Omega=\\{\\mu: 0\\le \\mu\\le 4\\}

Ω={μ:0≤μ≤4}

并且，如果表示吸烟学生的比例，则参数空间为：

Ω

=

{

p

:

0

≤

p

≤

1

}

\\Omega=\\{p:0\\le p\\le 1\\}

Ω={p:0≤p≤1}

3.2 关于点估计器

点估计器的功能：对于给定整体，其抽样构成序列

X

1

，

X

2

，

⋯

，

X

n

X_1，X_2，\\cdots，X_n

X1​，X2​，⋯，Xn​，即统计量

u

=

(

X

1

,

X

2

,

⋯
 

,

X

n

)

u=(X_1, X_2, \\cdots, X_n)

u=(X1​,X2​,⋯,Xn​) ，用于估计

θ

\\theta

θ被称为点估计量.例如，

• 1 均值估计函数： $\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

是总体均值的点估计量

μ

\\mu

μ. 这里

X

i

X_i

Xi​是个抽样样本属性值

• 2 比例估计功能： $\hat{p}=\frac{1}{n}\sum _{i=1}^n{X}_i$

在这里

X

i

=

0

 或 

1

)

X_i=0\\text{ 或 }1)

Xi​=0 或 1),是人口比例的点估计量

p

p

p。并且，函数：

S

2

=

1

n

−

1

∑

i

=

1

n

(

X

i

−

X

ˉ

)

2

S^2=\\dfrac{1}{n-1}\\sum\\limits_{i=1}^n (X_i-\\bar{X})^2

S2=n−11​i=1∑n​(Xi​−Xˉ)2

是总体方差的点估计量

σ

2

\\sigma^2

σ2。

3.3 点估计示例

函数

u

(

x

1

,

x

2

,

⋯
 

,

x

n

)

u(x_1, x_2, \\cdots, x_n)

u(x1​,x2​,⋯,xn​)从一组数据计算得出的观察点估计

θ

\\theta

θ 。 例如，1) 如果

x

i

x_i

xi​是 88 名学生样本的观测平均绩点，那么：

x

ˉ

=

1

88

∑

i

=

1

88

x

i

=

3.12

\\bar{x}=\\dfrac{1}{88}\\sum\\limits_{i=1}^{88} x_i=3.12

xˉ=881​i=1∑88​xi​=3.12 是点估计

μ

\\mu

μ，即全体学生的平均成绩。

并且，如果

x

i

=

0

x_i=0

xi​=0表示学生没有纹身，并且

x

i

=

1

x_i=1

xi​=1表示如果学生有纹身，那么：

p

^

=

1

88

∑

i

=

1

88

x

i

=

0.11

\\hat{p}=\\dfrac{1}{88}\\sum\\limits_{i=1}^{88} x_i=0.11

p^​=881​i=1∑88​xi​=0.11

是点估计

p

p

p，即总人口中拥有纹身的学生所占比例。

四、结论

所谓点估计，我们头脑中立刻反应出总体的两个参数估计

μ

\\mu

μ和

p

^

\\hat{p}

p^​,即总体的均值、总体的比例。为了方便记忆，给出如下图示。 下面让我们来学习最大似然法。