Оценка называется эффективной если. Какая оценка параметра называется состоятельной, несмещенной, эффективной? Понятие об оценке параметров генеральной совокупности

Эффективная стрессотерапия Казалось бы, про стресс уже написано столько, что каждый человек должен уметь справляться с ним без труда. Увы!

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.

Несмещенная статистическая оценка, дисперсия которой совпадает с нижней гранью в неравенстве Крамера-Рао .

Определение

Оценка $\backslash widehat\{\backslash theta\_1\}\; \backslash in\; \backslash Kappa$ параметра $\backslash theta$ называется эффективной оценкой в классе $\backslash Kappa$ , если для любой другой оценки $\backslash widehat\{\backslash theta\_2\}\; \backslash in\; \backslash Kappa$ выполняется неравенство $M\_\{\backslash theta\}(\backslash widehat\{\backslash theta\_1\}-\backslash theta)^2\backslash leqslant\; M\_\{\backslash theta\}(\backslash widehat\{\backslash theta\_2\}-\backslash theta)^2$ для любого $\backslash theta$.

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка $\backslash widehat\{\backslash theta\_1\}$ является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка $\backslash widehat\{\backslash theta\}$ в классе $\backslash Kappa\_b\; =\; \backslash \{\; E(\backslash widehat\{\backslash theta\})\; =\; c(\backslash theta)\backslash \}$, где $c(\backslash theta)$ - некоторая функция, существует и единственна с точностью до значений на множестве $A$, вероятность попасть в которое равна нулю ($P(x\; \backslash in\; A)=0$).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) $\backslash sqrt\{n\}\backslash hat\{\backslash theta\}$. В частности, асимптотически нормальная оценка

$\backslash sqrt\{n\}(\backslash hat\{\backslash theta\}-\backslash theta)\backslash xrightarrow\; d\; N(0,V)$

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

Бенигсен от Горок спустился по большой дороге к мосту, на который Пьеру указывал офицер с кургана как на центр позиции и у которого на берегу лежали ряды скошенной, пахнувшей сеном травы. Через мост они проехали в село Бородино, оттуда повернули влево и мимо огромного количества войск и пушек выехали к высокому кургану, на котором копали землю ополченцы. Это был редут, еще не имевший названия, потом получивший название редута Раевского, или курганной батареи.
Пьер не обратил особенного внимания на этот редут. Он не знал, что это место будет для него памятнее всех мест Бородинского поля. Потом они поехали через овраг к Семеновскому, в котором солдаты растаскивали последние бревна изб и овинов. Потом под гору и на гору они проехали вперед через поломанную, выбитую, как градом, рожь, по вновь проложенной артиллерией по колчам пашни дороге на флеши [род укрепления. (Примеч. Л.Н. Толстого.) ], тоже тогда еще копаемые.

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.

Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.

Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно

М (s 2) - σ 2 = - σ 2 /n .

Смещение оценки s 2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).

Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных чис­ловых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать пред­почтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.

4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:

D() = S 2 (x) / n,

где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.