Несмещённая оценка

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение[править | править вики-текст]

Пусть X_1,\ldots, X_n,\ldotsвыборка из распределения, зависящего от параметра \theta \in \Theta. Тогда оценка \hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n) называется несмещённой, если

\mathbb{E}\left[\hat{\theta}\right] = \theta,\quad \forall \theta \in \Theta,

где

В противном случае оценка называется смещённой, и случайная величина \hat{\theta} - \theta называется её смеще́нием.

Примеры[править | править вики-текст]

  • Выборочное среднее \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i является несмещённой оценкой математического ожидания X_i, так как если \mathbb{E}X_i = \mu<\infty, \forall i\in \mathbb{N}, то \mathbb{E}\bar{X} = \mu.
  • Пусть независимые случайные величины X_i имеют конечную дисперсию \mathrm{D}X_i = \sigma^2. Построим оценки
S_n^2 = \frac{1}{n} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2 — выборочная дисперсия,

и

S^2 = \frac{1}{n-1} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2 — исправленная выборочная дисперсия.

Тогда S^2_n является смещённой, а S^2 несмещённой оценками параметра \sigma^2. Смещённость S^2_n можно доказать следующим образом.

Пусть \mu и \overline{X} — среднее и его оценка соответственно, тогда:

 \operatorname{E}[S^2_n] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \overline{X} )^2 \bigg].

Добавив и отняв \mu, а затем сгрупировав слагаемые, получим:

 \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n \big( ( X_i - \mu ) - ( \overline{X} - \mu ) \big)^2 \bigg].

Возведём в квадрат и получим:

 \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 - 2 ( \overline{X} - \mu ) \frac{1}{n} \sum_{i=1}^n ( X_i - \mu ) + \frac{n}{n} ( \overline{X} - \mu )^2 \bigg].

Заметив, что \frac{1}{n} \sum_{i=1}^n ( X_i - \mu ) = \overline{X} - \frac{1}{n} ( n \mu ), получим:

 \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 - ( \overline{X} - \mu )^2 \bigg].

Учитывая, что

  • \operatorname{E}[ a + b ] = \operatorname{E}[ a ] + \operatorname{E}[ b ] (свойство математического ожидания);
  • \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 \bigg] = \sigma^2дисперсия;
  • \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \frac{1}{n} \sigma^2, т.к. \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \operatorname{E}\big[\big(\frac{1}{n}\sum_{i=1}^n ( X_i - \mu ) \big)^2\big] = \operatorname{E}\big[\frac{1}{n^2}\sum_{i=1}^n ( X_i - \mu )^2 + \frac{2}{n^2}\sum_{i=1,j=1, i<j}^n ( X_i - \mu )( X_j - \mu ) \big], учитывая, что X_i и X_j независимые и \operatorname{E}\big[( X_i - \mu )\big] = 0, т.е. \operatorname{E}\big[\sum_{i=1,j=1, i<j}^n ( X_i - \mu )( X_j - \mu ) \big]=\sum_{i=1,j=1, i<j}^n \operatorname{E}\big[( X_i - \mu )\big]\operatorname{E}\big[( X_j - \mu )\big] = 0,

получим:


\begin{align}
\operatorname{E}[ S^2_n ] &= \sigma^2 - \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \\
&= \sigma^2 - \frac{1}{n} \sigma^2 = \\
&= \frac{n-1}{n} \sigma^2 < \sigma^2
.\end{align}

Литература и некоторые ссылки[править | править вики-текст]