Logistická regrese

Logistická regrese je označení metody matematické statistiky zabývající se problematikou odhadu pravděpodobnosti nějakého jevu (závisle proměnné) na základě určitých známých skutečností (nezávisle proměnných), které mohou ovlivnit výskyt jevu. Využití nachází i v lingvistice při zpracování přirozeného jazyka.^[1]

Událost, zda zkoumaný jev nastal, se modeluje pomocí náhodné veličiny, která nabývá hodnoty 0, pokud jev nenastal, nebo 1, pokud jev nastal (viz též charakteristická funkce). O náhodné veličině, která nabývá dvou hodnot 0 a 1 se říká, že má alternativní rozdělení. Metoda logistické regrese předpokládá, že za podmínek, které určuje vektor ${\displaystyle \mathbf {x} }$, bude náhodná veličina ${\displaystyle Y(\mathbf {x} )}$ rovna 1 s pravděpodobností, jejíž závislost na ${\displaystyle \mathbf {x} }$ můžeme vyjádřit pomocí tzv. logistické funkce, což zapisujeme jako ${\displaystyle \operatorname {P} [Y(\mathbf {x} )=1]={\frac {\exp({\boldsymbol {\beta }}'\mathbf {x} )}{1+\exp({\boldsymbol {\beta }}'\mathbf {x} )}}.}$ Vektor ${\displaystyle {\boldsymbol {\beta }}}$ je vektorem neznámých parametrů. Odhadem vektoru ${\displaystyle {\boldsymbol {\beta }}}$ se tedy odhaduje i hledaná pravděpodobnost výskytu zkoumaného jevu (za předpokladu parametrizace logistickou funkcí). Vektor ${\displaystyle \mathbf {x} }$ se obvykle bere ve tvaru ${\displaystyle (1,\mathbf {z} ')'}$. Složka ${\displaystyle \beta _{0}}$ pak určuje vliv tzv. absolutního členu. Skutečnost, že pravděpodobnost výskytu jevu nezávisí na námi zkoumaných nezávislých proměnných (tj. ${\displaystyle \beta _{1}=0,\dots ,\beta _{k}=0\,}$) znamená, že se dá vyjádřit ve tvaru

${\displaystyle \operatorname {P} [Y(\mathbf {x} )=1]=\operatorname {P} [Y((1,\mathbf {z} ')')=1]={\frac {\exp(\beta _{0})}{1+\exp(\beta _{0})}}}$ nezávisle na ${\displaystyle \mathbf {z} }$.

Příklady

1. Výskyt onemocnění. Zkoumá se jev výskytu určitého onemocnění. Nechť ${\displaystyle z}$ bude určovat, zda zkoumaný jedinec je muž nebo žena. ${\displaystyle z}$ je rovno 0, pokud jedinec je muž, nebo 1, pokud jedinec je žena. Za vektor ${\displaystyle \mathbf {x} }$ se vezme vektor ${\displaystyle (1,z)'}$. Obecný vzorec potom přechází do tvaru :${\displaystyle \operatorname {P} [Y(z)=1]={\frac {\exp(\beta _{0}+\beta _{1}\cdot z)}{1+\exp(\beta _{0}+\beta _{1}\cdot z)}}.}$ Pokud je parametr ${\displaystyle \beta _{1}}$ nulový, znamená to, že výskyt onemocnění nezávisí na pohlaví a pravděpodobnost výskytu onemocnění je rovna ${\displaystyle {\frac {\exp(\beta _{0})}{1+\exp(\beta _{0})}}.}$ V případě, že ${\displaystyle \beta _{1}}$ je kladné, znamená to, že výskyt nemoci je pravděpodobnější pro ženy než pro muže. Pokud je ${\displaystyle \beta _{1}}$ záporné, znamená to, že výskyt nemoci je pravděpodobnější pro muže. Absolutní velikost ${\displaystyle \beta _{1}}$ potom určuje, kolikrát je pravděpodobnost onemocnění pro muže resp. pro ženu větší.
2. Sázková kancelář. Odhaduje se vítězství hráče v tenisovém utkání. Vektor ${\displaystyle \mathbf {z} }$ je kvantifikace známých skutečností, které mohou ovlivnit výsledek utkání. Například údaje posledních utkání hráčů, postavení v tenisovém žebříčku, datum posledního utkání atp. Vektor ${\displaystyle \mathbf {x} }$ se potom bere jako ${\displaystyle (1,\mathbf {z} ')'}$ podobně jako v předchozím příkladě. Kladné složky vektoru ${\displaystyle {\boldsymbol {\beta }}}$ pak určují ty charakteristiky, které mají kladný vliv na vítězství hráče, záporné pak mají kladný vliv na vítězství soupeře.
3. Kreditní riziko. Odhaduje se pravděpodobnost nesplacení (defaultu) klienta, kterému banka půjčí peníze na úvěr. Vektor ${\displaystyle \mathbf {z} }$ vyjadřuje vlastnosti klienta banky v okamžiku žádosti o úvěr. Podobně jako v předchozích příkladech kladné složky vektoru ${\displaystyle {\boldsymbol {\beta }}}$ určují charakteristiky, které mají pozitivní vliv na nesplacení úvěru. Složky vektoru, které jsou nulové, nemají na pravděpodobnost nesplacení klienta žádný vliv. V bankovnictví a řízení rizik se modely založené na logistické regresi často zahrnují pod pojem skóring nebo skóringové funkce.

Důležité úlohy v modelu logistické regrese

• Odhad parametrů modelu. Provádí se obvykle metodou maximální věrohodnosti.
• Testování hypotéz o parametrech modelu. Obvykle na základě testu poměrem věrohodností se testují zejména hypotézy o vlivu konkrétní nezávisle proměnné nebo podvektoru nezávisle proměnných na pravděpodobnost výskytu zkoumaného jevu.
• Výběr modelu. Ze široké škály možných vstupních nezávisle proměnných se hledá co nejvhodnější kombinace, která co nejlépe vysvětluje pravděpodobnost výskytu zkoumaného jevu. Používají se obvykle metody postupné regrese (stepwise regression).

Související pojmy

• Odds (poměr pravděpodobností, šance, riziko) udává podíl pravděpodobnosti výskytu jevu ku pravděpodobnosti jeho nevýskytu. Např. šance 1:5, z celkových 6 možných případů.
• Log odds je přirozený logaritmus odds. V modelu logistické regrese je log odds rovno ${\displaystyle {\boldsymbol {\beta }}'\mathbf {x} }$. V teorii řízení kreditních rizik se tato hodnota někdy nazývá skóre.
• Odds ratio (podíl šancí, podíl rizik) udává skutečně podíl šancí výskytu (rizika výskytu) pro dvě různé hodnoty nezávisle proměnných.
• Log odds ratio je přirozený logaritmus odds ratio.

Reference

Literatura

• Agresti, Alan, Categorical Data Analysis, 2nd ed., New York: Wiley-Interscience, 2002, ISBN 0-471-36093-7.
• Hosmer, David W. and Stanley Lemeshow, Applied Logistic Regression, 2nd ed., New York; Chichester, Wiley, 2000, ISBN 0-471-35632-8.

Související články

• Giniho koeficient
• Lorenzova křivka
• c statistika
• Probitová analýza
• Diskriminační analýza
• Neuronové sítě
• Regresní stromy
• Regrese
• Matematická statistika

Externí odkazy

• Nebojte se logistické regrese