Odhad (statistika)

Odhadem se v matematické statistice nazývá určení parametru rozdělení hodnoty určitého znaku v populaci (základním souboru) na základě hodnot zjištěných u určitého vzorku (výběrového souboru). Odhady se dělí na bodové a intervalové. V angličtině se rozlišuje metoda nebo funkce odhadu (anglicky estimator) dané veličiny (anglicky estimand) od jejího výsledku (anglicky estimate).^[1] Například výběrová střední hodnota je často používaný odhad střední hodnoty základního souboru.

Bodový odhad je jedna hodnota, která udává „nejlepší“ (nepravděpodobnější) hodnotu daného parametru. („Jedna hodnota“ nutně nemusí znamenat „jedno číslo“, ale může se jednat o vektor nebo funkci.)

Intervalový odhad je interval, do něhož hodnota parametru spočítaná na základě výběru padne s určitou předem stanovenou pravděpodobností (obvykle 95 nebo 99 %).

Výhodou bodového odhadu je, že poskytuje jedinou hodnotu, se kterou je možné dál počítat. Jeho nevýhodou je, že nevíme, jaká je pravděpodobnost toho, že se skutečný výsledek od bodového odhadu bude odchylovat. Intervalový odhad, který se používá pro testování statistických hypotéz, tuto nevýhodu nemá. V praxi se intervalový odhad často zapisuje ve tvaru ${\displaystyle s\pm ch}$ příp. ${\displaystyle s\pm n\%}$, kde s je aritmetický (příp. geometrický) průměr dolní a horní meze intervalu.

Pokud například házíme poctivou mincí, je číslo 5 nejlepším bodovým odhadem, kolik padne hlav z deseti hodů. Ale pravděpodobnost toho, že hlava padne přesně v polovině případů, je u deseti hodů jen přibližně čtvrtinová. Proto by nás malá odchylka od rozdělení počtu hlav a orlů přesně na polovinu neměla vést k tomu, že minci prohlásíme za nepoctivou. Na druhou stranu, pravděpodobnost toho, že z 10 hodů mincí padne 10x nebo 9x táž strana, je přibližně 2 %; proto při takovém výsledku hypotézu, že je mince poctivá, zpravidla zamítneme (pokud jsme předem stanovili hladinu testu 5 %; pokud by předem stanovená hladina byla 1 %, připustili bychom i padnutí 9 hlav nebo orlů).

Teorie odhadu se zabývá vlastnostmi odhadů; to jest definičními vlastnostmi, které lze používat pro porovnávání různých odhadů (různých pravidel pro vytváření odhadů) stejné veličiny ze stejných dat. Takové vlastnosti lze použít pro určení nejlepšího pravidla pro dané okolnosti. V robustní statistice však statistická teorie pokračuje v uvažování rovnováhy mezi dobrými vlastnostmi, za dodržení striktně definovaných předpokladů, a méně dobrými vlastnosti, které platí při volnějších podmínkách.

Pozadí

„Bodový odhad“ je metoda vybraná pro určení hodnoty neznámého parametru ze vzorku dat. Tato metoda je (měřitelnou) funkcí definovanou na výběrovém prostoru, a je tedy statistikou (funkcí dat). V české terminologii se často přívlastek „bodový“ vypouští a název „odhad“ se používá jak pro metodu tak pro získanou hodnotu; v angličtině se obvykle rozlišuje estimator (metoda) a estimation (hodnota), ale oba termíny se někdy zaměňují.

Parametr, který se má odhadovat, se někdy nazývá anglicky estimand. Může být konečněrozměrný (v případě parametrických a semiparametrických modelů) nebo nekonečněrozměrný (u semiparametrických a neparametrických modelů).^[2] Pokud označíme parametr symbolem ${\displaystyle \theta ,}$ pak odhad se tradičně označuje přidáním stříšky nad symbol: ${\displaystyle {\widehat {\theta }}}$.

Definice neklade prakticky žádná omezení na to, jaké funkce dat lze nazývat „odhady“. Atraktivitu různých odhadů lze posoudit podle jejich vlastností, např. nestrannosti, střední kvadratické chyby, konzistence, asymptotického rozdělení, atd. Konstrukce a porovnání odhadů jsou předmětem teorie odhadu. V kontextu teorie rozhodování je odhad typem rozhodovacího pravidla, jehož výkonnost lze vyčíslit pomocí nákladové funkce.

Když slovo „odhad“ se používá bez přívlastku, obvykle se tím míní bodový odhad. Odhad v tomto případě je jediný bod v prostor parametrů. Jiným typem odhadu jsou intervalové odhady, jejichž výsledkem je podmnožina prostoru parametrů.

Ve dvou aplikacích se objevuje problém odhadu hustoty: při odhadování hustoty pravděpodobnosti náhodných proměnných a při odhadování spektrální hustoty časových řad. V těchto problémech jsou odhady funkcemi, které považovat za bodové odhady v nekonečněrozměrném prostoru, přičemž existují odpovídající problémy intervalových odhadů.

Definice

Předpokládejme, že má být odhadnut pevný parametr ${\displaystyle \theta }$. „Odhad“ je pak funkce, která mapuje prostor elementárních jevů do množiny hodnot odhadů. Odhad parametru ${\displaystyle \theta }$ se obvykle označuje symbolem ${\displaystyle {\widehat {\theta }}}$. Často je pohodlné vyjádřit teorii pomocí algebry náhodných proměnných: pokud se tedy X používá pro označení náhodné veličiny odpovídající pozorovaným datům, odhad (samotný považovaný za náhodnou proměnnou) je symbolizován funkcí této náhodné proměnné, ${\displaystyle {\widehat {\theta }}(X)}$. Odhad pro určitou pozorovanou datovou hodnotu ${\displaystyle x}$ (tj. pro ${\displaystyle X=x}$) pak je ${\displaystyle {\widehat {\theta }}(x)}$, což je pevná hodnota. Často se používá zkrácený zápis, ve kterém je ${\displaystyle {\widehat {\theta }}}$ interpretováno přímo jako náhodná veličina, což však může způsobovat nedorozumění.

Kvantifikované vlastnosti

V teorii odhadu se používají následující definice a atributy:^[3]

Chyba

Je-li dán vzorek (výběrový soubor) ${\displaystyle x}$, „chyba“ odhadu ${\displaystyle {\widehat {\theta }}}$ je definována vzorcem

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$

kde ${\displaystyle \theta }$ je parametr, který je odhadován. Chyba e, závisí nejen na odhadu (vzorci nebo postupu odhadu), ale také na vzorku.

Střední kvadratická chyba

Střední kvadratická chyba odhadu ${\displaystyle {\widehat {\theta }}}$ je definována jako střední hodnota (pravděpodobností váženého průměru přes všechny vzorky) druhé mocniny chyb; to jest

${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$

Používá se k popisu toho, jak moc se v průměru soubor odhadů odchyluje od parametru, který byl odhadován. Uvažujme následující analogii. Předpokládejme, že parametr je střed terče, odhad je proces házení šipek na terč, a jednotlivé šipky jsou odhady (vzorky). Pak velká střední kvadratická chyba znamená, že průměrná vzdálenost šipek od středu terče je velká, a malá střední kvadratická chyba znamená, že průměrná vzdálenost od středu terče je malá. Přitom šipky mohou ale nemusí být shluklé. Pokud by například všechny šipky zasáhly stejný bod, ale značně míjely střed, bude střední kvadratická chyba stále relativně velká. Pokud je však střední kvadratická chyba relativně malá, pak šipky v terči jsou pravděpodobně více shluklé.

Vzorkovací odchylka

Je-li dán vzorek ${\displaystyle x}$, definujeme vzorkovací odchylku odhadu ${\displaystyle {\widehat {\theta }}}$ jako

${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),}$

kde ${\displaystyle \operatorname {E} ({\widehat {\theta }}(X))}$ je střední hodnota odhadu. Vzorkovací odchylka d závisí nejen na odhadu, ale také na vzorku.

Rozptyl

Rozptyl (statistika) odhadu ${\displaystyle {\widehat {\theta }}}$ je střední hodnota druhé mocniny vzorkovací odchylky; to jest ${\displaystyle \operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$. Používá se k označení toho, jak daleko, v průměru, soubor odhadů jsou z střední hodnota odhadů. (Všimněte si rozdílu mezi střední kvadratickou chybou a rozptylem.) Pokud parametr odpovídá středu terče, a šipky jsou odhady, pak relativně velký rozptyl znamená, že šipky jsou více roztroušené, a naopak, relativně malý rozptyl znamená, že šipky jsou shluklé. I když je rozptyl malý, shluk šipek může být stále daleko od středu terče; pokud je rozptyl velký, shluk šipek může být nevychýlený. A i kdyby všechny šipky značně minuly střed terče, pokud by všechny zasáhly stejný bod, byl by rozptyl nulový.

Vychýlenost

Vychýlenost odhadu ${\displaystyle {\widehat {\theta }}}$ se definuje jako ${\displaystyle B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta }$. Je to vzdálenost mezi průměrem souboru odhadů, a parametrem, který se odhaduje. Vychýlenost odhadu ${\displaystyle {\widehat {\theta }}}$ je funkcí skutečné hodnoty ${\displaystyle \theta ,}$ takže pokud řekneme, že vychýlenost odhadu ${\displaystyle {\widehat {\theta }}}$ je ${\displaystyle b,}$ znamená to, že pro každé ${\displaystyle \theta }$ je vychýlenost odhadu ${\displaystyle {\widehat {\theta }}}$ rovna ${\displaystyle b}$.

Existují dva druhy odhadů: vychýlené odhady a nevychýlené odhady. Zda je odhad vychýlený nebo není, lze zjistit vztahem mezi ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta }$ a 0:

• Pokud ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta \neq 0}$, ${\displaystyle {\widehat {\theta }}}$ je vychýlený.
• Pokud ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$, ${\displaystyle {\widehat {\theta }}}$ je nevychýlený.

Vychýlenost je také střední hodnotou chyby, protože ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )}$. Pokud parametr je střed terče a šipky jsou odhady, pak relativně velká absolutní hodnota vychýlenosti znamená, že průměrná pozice šipek je mimo střed terče, a relativně malá absolutní vychýlenost znamená, že průměrný poloha šipek je blízko středu terče. Šipky mohou být roztroušené nebo shluklé. Vztah mezi vychýleností a rozptylem je podobný jako vztah mezi přesností a precizností.

Odhad ${\displaystyle {\widehat {\theta }}}$ je nestranným odhadem parametru ${\displaystyle \theta }$ právě tehdy, když ${\displaystyle B({\widehat {\theta }})=0}$. Vychýlenost je vlastností estimátoru, ne odhadu. Často se mluví o „vychýleném“ nebo „nevychýleném odhadu“, ale ve skutečnosti to znamená „odhad z vychýleného esimátoru“ nebo „odhad z nestranného esimátoru“. Lidé také často zaměňují „chybu“ jednoho odhadu s „vychýleností“ estimátoru. To, že je chyba jednoho odhadu velká, nemusí znamenat, že je odhad vychýlený. Ve skutečnosti, i když by měly všechny odhady astronomické absolutní hodnoty chyb, pokud by střední hodnota chyby byla nulová, byl by odhad nevychýlený (nestranný). Také to, že odhad je vychýlený, nemusí znamenat, že chyba odhadu, je v určitém konkrétním případě nenulová. Ideální situace je mít nestranný odhad s malým rozptylem, a také se snažit omezit počet vzorků, kde je chyba extrémní (to znamená mít málo odlehlých hodnot). Nestrannost však není nezbytná. Pokud je povolena pouze malá vychýlenost, pak lze často nalézt odhad s nižší střední kvadratickou chybou nebo s menším počtem odlehlých hodnot vzorků.

Alternativou k výše uvedené verzi „nevychýlenosti“, je „mediánová nevychýlenost“, kde medián rozdělení odhadů souhlasí se skutečnou hodnotou; v dlouhodobém horizontu bude tedy polovina odhadů příliš malá a polovina příliš velká. Přestože to platí bezprostředně pouze pro skalární odhady, lze to rozšířit na jakoukoli míru centrální tendence rozdělení: viz mediánově nevychýlené odhady.

V praxi může mít ${\displaystyle {\widehat {\theta }}}$ vždy funkcionální vztah s ${\displaystyle \theta }$. Například genetický teorie říká, že jeden typ listů, škrobovitě zelený, se objevuje s pravděpodobností ${\displaystyle p_{1}=1/4\cdot (\theta +2)}$, pro ${\displaystyle 0<\theta <1}$. Pro ${\displaystyle n}$ listů může být náhodnou proměnnou ${\displaystyle N_{1}}$ udávající počet škrobovitých zelených listů modelovat rozdělením ${\displaystyle Bin(n,p_{1})}$. Pro vyjádření odhadu veličiny lze použít ${\displaystyle \theta }$: ${\displaystyle {\widehat {\theta }}=4/n\cdot N_{1}-2}$. Můžeme ukázat, že ${\displaystyle {\widehat {\theta }}}$ je nestranný odhad veličiny ${\displaystyle \theta }$: ${\displaystyle E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]}$ ${\displaystyle =4/n\cdot E[N_{1}]-2}$ ${\displaystyle =4/n\cdot np_{1}-2}$ ${\displaystyle =4\cdot p_{1}-2}$ ${\displaystyle =4\cdot 1/4\cdot (\theta +2)-2}$ ${\displaystyle =\theta +2-2}$ ${\displaystyle =\theta }$.

Vztahy mezi veličinami

• Pro střední kvadratickou chybu (MSE), rozptyl, a vychýlenost platí: ${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$ tj. střední kvadratická chyba = rozptyl + druhá mocnina vychýlenosti. Díky tomu se u nestranného odhadu rozptyl rovná střední kvadratické chybě.
• Směrodatná odchylka odhadu ${\displaystyle {\widehat {\theta }}}$ parametru ${\displaystyle \theta }$ (druhá odmocnina rozptylu) nebo odhad směrodatné odchylky odhadu ${\displaystyle {\widehat {\theta }}}$ parametru ${\displaystyle \theta }$, se nazývá standardní chyba parametru ${\displaystyle {\widehat {\theta }}}$.
• Kompromis mezi vychýleností a rozptylem se používá v modelové složitosti, over-fitting a under-fitting. Používá se především v oblasti učení s učitelem a pro prediktivní modelování pro diagnostiku výkonnosti algoritmů.

Behaviorální vlastnosti

Konzistence

Konzistentní posloupnost odhadů je posloupnost odhadů, které konverguje v pravděpodobnosti k odhadované veličině, když index (obvykle rozsah souboru) roste bez nade všechny meze. Jinými slovy, rostoucí velikost vzorku zvyšuje pravděpodobnost, že odhad je blízko k parametru populace.

Matematicky, posloupnost odhadů {t_n; n ≥ 0} je konzistentním odhadem parametru θ právě tehdy, když pro všechna ε > 0 platí

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1}$.

Výše definovanou konzistenci můžeme nazývat slabou konzistencí. Posloupnost je silně konzistentní, pokud konverguje skoro jistě ke skutečné hodnotě.

Z odhadu, který konverguje k násobku parametru, lze udělat konzistentní odhad vynásobením odhadu škálovacím faktorem, konkrétně skutečnou hodnotou vydělenou asymptotickou hodnotou odhadu. K tomu často dochází při odhadu parametrů měřítka pomocí měr statistického rozptylu.

Asymptotická normalita

Asymptoticky normální odhad je konzistentní odhad, jehož rozdělení se v blízkosti skutečného parametru θ blíží normálnímu rozdělení se směrodatnou odchylkou klesající úměrně ${\displaystyle 1/{\sqrt {n}},}$ při rostoucí velikosti vzorku n. Pokud použijeme ${\displaystyle {\xrightarrow {D}}}$ pro označení konvergence v rozdělení, pak t_n je asymptoticky normální pokud

${\displaystyle {\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),}$

pro některé V.

V této formulaci lze V/n nazývat asymptotický rozptyl odhadu. Někteří autoři však asymptotický rozptyl používají pro V. Všimněte si, že konvergence nutně nenastává pro libovolné konečné „n“, proto je tato hodnota pouze aproximací skutečného rozptylu odhadu, zatímco v limitě je asymptotický rozptyl (V/n) jednoduše nula. Podrobněji, rozdělení odhadu t_n konverguje slabě k Diracovu delta se středem v ${\displaystyle \theta }$.

Centrální limitní věta implikuje asymptotickou normalitu výběrové střední hodnoty ${\displaystyle {\bar {X}}}$ jako odhadu skutečné střední hodnoty. Obecněji odhady metodou maximální věrohodnosti jsou asymptoticky normální za dosti slabých podmínek regularity — viz asymptotická část článku o maximální věrohodnosti. Ne všechny odhady jsou však asymptoticky normální; nejjednodušším příkladem je, když skutečná hodnota parametru leží na hranice oblasti povolených parametrů.

Efektivita

Efektivita odhadu se používá pro odhad dané veličiny s „minimální chybou“. Ve skutečnosti neexistuje explicitně nejlepší odhad; existují pouze lepší metody odhadu. Kvalita a efektivita odhadu závisí na volba určité účelové funkce, a je odražený dvěma přirozeně žádoucími vlastnostmi odhadů: odhad by měl být nevychýlený ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$ a měl by mít minimální střední kvadratickou chybu (MSE) ${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$. Obecně tyto dvě podmínky nemusí být splněny současně: nestranný odhad může mít nižší střední kvadratickou chybu než nějaký vychýlený odhad (viz vychýlenost odhadu). Funkce ukazuje souvislost střední kvadratické chyby s vychýleností odhadu.^[4]

${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=(\operatorname {E} ({\widehat {\theta }})-\theta )^{2}+\operatorname {Var} (\theta )\ }$

První člen reprezentuje střední kvadratickou chybu; druhý člen reprezentuje druhou mocninu vychýlenosti odhadu; a třetí člen reprezentuje rozptyl vzorku. Kvalitu odhadu lze určit porovnáním rozptylu, druhé mocniny vychýlenosti odhadu nebo střední kvadratické chyby. Rozptyl dobrého odhadu (s dobrou efektivitou) by měl být menší než rozptyl špatného odhadu (se špatnou efektivitou). Druhá mocnina vychýlenosti odhadu je u dobrého odhadu menší než druhá mocnina vychýlenosti špatného odhadu. Střední kvadratická chyba dobrého odhadu je menší než střední kvadratická chyba špatného odhadu. Pokud předpokládáme, že existují dva odhady, dobrý odhad ${\displaystyle \theta _{1}}$ a špatný odhad ${\displaystyle \theta _{2}}$, pak výše uvedený vztah lze vyjádřit vzorcem:

${\displaystyle \operatorname {Var} (\theta _{1})<\operatorname {Var} (\theta _{2})}$

${\displaystyle |\operatorname {E} ({\theta }_{1})-\theta |<|\operatorname {E} ({\theta _{2}})-\theta |}$

${\displaystyle \operatorname {MSE} (\theta _{1})<\operatorname {MSE} (\theta _{2})}$

Efektivitu odhadu lze určit pomocí vzorce nebo pomocí grafu. Pokud je odhad efektivní, v grafu znázorňujícím závislost frekvence na hodnotě bude křivka s velkou frekvencí uprostřed a nízkými frekvencemi na obou stranách. Například:

Pokud odhad není efektivní, v grafu znázorňujícím závislost frekvence na hodnotě bude relativně mírnější křivka (pozor na jiné měřítko na ose y):

Jednoduše řečeno, dobrý odhad má úzkou křivku a špatný širokou křivku. Vynesením obou křivek do jednoho grafu se společnou osou y se rozdíl stane zřejmější:

Mezi nevychýlenými odhady často existuje odhad s nejmenším rozptylem, nazývaný nejlepší nestranný odhad (MVUE). V některých případech existuje nevychýlený efektivní odhad, který, kromě toho, že má nejmenší rozptyl mezi nevychýlenými odhady, vyhovuje Cramérově–Raově mezi, což je absolutní spodní mez rozptylu statistické proměnné.

Takovými „nejlepšími nevychýlenými odhady“ se zabývá také Cramérova–Raova mez, Gaussova–Markovova věta, Lehmannova–Scheffého věta, Raova–Blackwellova věta.

Robustnost

Odkazy

Reference

V tomto článku byl použit překlad textu z článku Estimator na anglické Wikipedii.

Literatura

• BOL'SHEV, Login Nikolaevich. Statistical estimator [online]. EMS Press. Dostupné online. 
• JAYNES, E. T., 2007. Probability Theory: The logic of science. 5. vyd. [s.l.]: Cambridge University Press. ISBN 978-0-521-59271-0. 
• KOSOROK, Michael, 2008. Introduction to Empirical Processes and Semiparametric Inference. [s.l.]: Springer. (Springer Series in Statistics). Dostupné online. ISBN 978-0-387-74978-5. DOI 10.1007/978-0-387-74978-5. 
• LEHMANN, E. L.; CASELLA, G., 1998. Theory of Point Estimation. 2. vyd. [s.l.]: Springer. ISBN 0-387-98502-6. 
• SHAO, Jun, 1998. Mathematical Statistics. [s.l.]: Springer. ISBN 0-387-98674-X. 

Související články

• Gaussova–Markovova věta (BLUE)
• Invariantní odhad
• Kálmánův filtr
• Markov chain Monte Carlo (MCMC)
• Maximální aposteriorní odhad (MAP)
• Momentová metoda (statistika), zobecněná momentová metoda
• Minimální střední kvadratická chyba (MMSE)
• Částicový filtr
• Pitmanovo kritérium uzavřenosti
• Citlivost a specificita
• Shrinkage odhad
• Zpracování signálu
• Testimátor
• Wienerův filtr
• Rozumná statistika

Externí odkazy

• Fundamentals on Estimation Theory