Statistická nezávislost

Nezávislost je základní pojem teorie pravděpodobnosti, matematické statistiky a teorie stochastických procesů. Dva náhodné jevy jsou nezávislé, statisticky nezávislé nebo stochasticky nezávislé,^[1] pokud výskyt jednoho nemá vliv na pravděpodobnost výskytu druhého (ekvivalentně řečeno, nemá vliv na šance výskytu druhého jevu). Podobně jsou dvě náhodné veličiny nezávislé, pokud realizace jedné neovlivní rozdělení pravděpodobnosti druhé. Definiční a často využívanou vlastností nezávislých jevů je, že pravděpodobnost jejich společného výskytu se rovná součinu pravděpodobností jejich výskytů. Opakem nezávislosti je statistická závislost, například korelace.

Pokud jde o soubor více než dvou jevů, je třeba rozlišovat slabé a silné pojetí nezávislosti. Jevy se nazývají po dvou nezávislé, pokud jsou jakékoli dva jevy v souboru nezávislé, a nezávislé (nebo kolektivně nezávislé), pokud každý jev je nezávislý na jakékoli kombinaci dalších jevů v souboru. Podobná definice platí pro soubory náhodných proměnných. Z (kolektivní) nezávislosti plyne nezávislost po dvou, ale naopak to neplatí.

Obecnějším konceptem je podmíněná nezávislost, která vyjadřuje, že dva náhodné jevy či veličiny A a B jsou nezávislé ve smyslu pravděpodobností podmíněných třetím náhodným jevem či veličinou Z. To neformálně řečeno znamená, že jakmile máme k dispozici informaci obsaženou v Z, není už další informace A užitečná pro přesnější poznání B ani znalost B nepřidá nic pro pochopení A, i kdyby A a B byly vzájemně závislé.

Příklady

Házení hrací kostkou: Jev, že padne 6 při prvním hodu kostkou a jev padnutí 6 při druhém hodu jsou nezávislé. Naproti tomu jev, že padne 6 při prvním hodu kostkou a jev, že součet čísel zaznamenaných v prvním a druhém pokusu je 8, nejsou nezávislé jevy.

Tahání náhodných karet z promíchaného balíčku: Pokud jsou z balíčku karet vytaženy dvě karty s vracením (první vytažená karta se vrátí do balíčku před tažením druhé karty), jsou jevy vytažení červené karty v prvním pokusu a vytažení červené karty ve druhém pokusu nezávislé. Naproti tomu pokud jsou dvě karty vytaženy bez vracení, událost tažení červené karty v prvním pokusu a událost tažení červené karty ve druhém pokusu nejsou nezávislé, protože po vytažení první červené karty balíček už obsahuje o jednu červenou kartu méně.

Definice

Náhodné jevy

Viz též Pravděpodobnost#Nezávislé jevy.

Dva náhodné jevy ${\displaystyle A}$ a ${\displaystyle B}$ jsou nezávislé (zapsáno ${\displaystyle A\perp B}$ nebo ${\displaystyle A\perp \!\!\!\perp B}$) právě tehdy, pokud se pravděpodobnost jejich společného výskytu rovná součinu pravděpodobností jejich výskytů:^{[2] :s.p. 29 [3] :s.p. 10}

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)}$

Proč se nezávislost definuje takto, je jasné po přepsání s použitím podmíněných pravděpodobností:

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A\mid B)}$ .

a podobně

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B)=\mathrm {P} (B\mid A)}$ .

To znamená, že výskyt ${\displaystyle B}$ nemá vliv na pravděpodobnost ${\displaystyle A}$ a naopak. Ačkoli se odvozené výrazy mohou zdát intuitivnější, nejedná se o upřednostňovanou definici, protože podmíněné pravděpodobnosti nemusejí být definované, pokud ${\displaystyle \mathrm {P} (A)}$ nebo ${\displaystyle \mathrm {P} (B)}$ jsou 0. Kromě toho upřednostňovaná definice je zjevně symetrická, takže je z ní vidět, že když ${\displaystyle A}$ je nezávislý na ${\displaystyle B}$, tak ${\displaystyle B}$ je také nezávislý na ${\displaystyle A}$.

${\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\Leftrightarrow \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1}$ .

Zobecnění na více jevů: Konečná množina jevů ${\displaystyle \{A_{i}\}_{i=1}^{n}}$ je po dvou nezávislá, pokud je každá dvojice jevů nezávislá — to znamená, že pro všechny vzájemně odlišné páry indexů ${\displaystyle m,k}$

${\displaystyle \mathrm {P} (A_{m}\cap A_{k})=\mathrm {P} (A_{m})\mathrm {P} (A_{k})}$

Konečná množina jevů je nezávislá, pokud je každý jev nezávislý na libovolném průniku ostatních jevů^{[3] :s.p. 11} — to znamená, že pro každé ${\displaystyle k\leq n}$ a pro každou ${\displaystyle k}$ -prvkovou podmnožina jevů ${\displaystyle \{B_{i}\}_{i=1}^{k}}$ z ${\displaystyle \{A_{i}\}_{i=1}^{n}}$ platí

${\displaystyle \mathrm {P} \left(\bigcap _{i=1}^{k}B_{i}\right)=\prod _{i=1}^{k}\mathrm {P} (B_{i})}$

Toto se nazývá pravidlo násobení pravděpodobností pro nezávislé jevy. Všimněte si, že nejde o jedinou podmínku zahrnující pouze součin všech pravděpodobností všech jednotlivých jevů; vzorec musí platit pro všechny podmnožiny dané množiny jevů.

Pro více než dva jevy je nezávislá množina jevů (podle definice) také nezávislá po dvou; ale opak nemusí nutně platit.^{[2]:s.p. 30}

Náhodné veličiny

Dvě reálné náhodné veličiny ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé tehdy a právě tehdy, jsou-li prvky jimi generovaného π systému nezávislé; to znamená, že pro každé ${\displaystyle x}$ a ${\displaystyle y}$ jsou jevy ${\displaystyle \{X\leq x\}}$ a ${\displaystyle \{Y\leq y\}}$ nezávislé (jak je definováno výše). Z toho plyne, že ${\displaystyle X}$ a ${\displaystyle Y}$ s distribučními funkcemi ${\displaystyle F_{X}(x)}$ a ${\displaystyle F_{Y}(y)}$ jsou nezávislé, pokud kombinovaná náhodná proměnná ${\displaystyle (X,Y)}$ má kumulativní distribuční funkci^{[3]:s.p. 15}

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y)\quad \forall x,y}$,

z čehož plyne, že pokud existují hustoty pravděpodobnosti ${\displaystyle f_{X}(x)}$ a ${\displaystyle f_{Y}(y)}$ a společná hustota pravděpodobnosti ${\displaystyle f_{X,Y}(x,y)}$, tak

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad \forall x,y}$ .

Zobecnění na více než dvě náhodné veličiny: Konečná množina ${\displaystyle n}$ náhodných veličin ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je po dvou nezávislá, jestliže je každá dvojice náhodných veličin z této množiny nezávislá.

Konečná množina ${\displaystyle n}$ náhodných veličin ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je nezávislá, jestliže pro jakoukoli posloupnost čísel ${\displaystyle \{x_{1},\ldots ,x_{n}\}}$ jsou jevy ${\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}$ vzájemně nezávislé (jak je definováno výše). To je ekvivalentní následující podmínce o společné distribuční funkci ${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$: množina ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je nezávislý právě tehdy, když^{[3]:s.p. 16}

${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\quad \forall x_{1},\ldots ,x_{n}}$

Všimněte si, že zde není nutné vyžadovat, aby rozdělení pravděpodobnosti faktorizovalo pro všechny možné podmnožiny ${\displaystyle k}$ prvků jako v případě pro ${\displaystyle n}$ jevů. Je to proto, že např. ${\displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})}$ totiž implikuje ${\displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})}$ atp.

Náhodné vektory

Dva reálné náhodné vektory ${\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}}$ a ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$ jsou nezávislé, pokud^{[4]:s.p. 187}

${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )\quad \forall \mathbf {x} ,\mathbf {y} }$,

kde ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$ a ${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$ jsou distribuční funkce ${\displaystyle \mathbf {X} }$ a ${\displaystyle \mathbf {Y} }$ a ${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$ označuje jejich společnou distribuční funkci. Nezávislost ${\displaystyle \mathbf {X} }$ a ${\displaystyle \mathbf {Y} }$ se často označuje ${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$ . Rozepsáno po komponentách:

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad \forall x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}}$ .

Stochastické procesy

Definici nezávislosti lze rozšířit z náhodných vektorů na stochastické procesy. Nezávislý stochastický proces je takový, u kterého náhodné veličiny získané jeho vzorkováním v libovolných ${\displaystyle n}$ časových okamžicích ${\displaystyle t_{1},\ldots ,t_{n}}$ (pro libovolné přirozené ${\displaystyle n}$) jsou nezávislé náhodné veličiny.^{[5]:s.p. 163}

Formálně zapsáno se stochastický proces ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ nazývá nezávislý, právě když pro všechna ${\displaystyle n\in \mathbb {N} }$ a pro všechny ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$

${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=F_{X_{t_{1}}}(x_{1})\cdot \ldots \cdot F_{X_{t_{n}}}(x_{n})\quad \forall x_{1},\ldots ,x_{n}}$,

kde ${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})}$ . Nezávislost stochastického procesu je jeho vnitřní vlastnost, nikoli vztah mezi dvěma různými stochastickými procesy.

Vzájemná nezávislost dvou stochastických procesů je vztah mezi dvěma stochastickými procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ definovanými na stejném pravděpodobnostním prostoru ${\displaystyle (\Omega ,{\mathcal {F}},P)}$. Formálně dva stochastické procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ jsou považovány za nezávislé, pokud pro všechna ${\displaystyle n\in \mathbb {N} }$ a pro všechny ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$ jsou náhodné vektory ${\displaystyle (X(t_{1}),\ldots ,X(t_{n}))}$ a ${\displaystyle (Y(t_{1}),\ldots ,Y(t_{n}))}$ navzájem nezávislé,^{[6]:s.p. 515} tj. pokud

${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}},Y_{t_{1}},\ldots ,Y_{t_{n}}}(x_{1},\ldots ,x_{n},y_{1},\ldots ,y_{n})=F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})\cdot F_{Y_{t_{1}},\ldots ,Y_{t_{n}}}(y_{1},\ldots ,y_{n})\quad \forall x_{1},\ldots ,x_{n}}$

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

Vlastnosti

Nezávislost na sobě samém

Všimněte si, že jev je na sobě nezávislý právě tehdy, když

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

Jev je tedy na sobě nezávislý, právě když k němu skoro jistě dojde nebo skoro jistě nedojde (dojde k jeho doplňku); tato skutečnost je užitečná při dokazování různých vět, které tvrdí, že nějaký jev má buď pravděpodobnost jedna nebo nula, nic mezi (anglicky tzv. zero-one laws).

Střední hodnota a kovariance

Pokud ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé náhodné veličiny, pak operátor střední hodnoty ${\displaystyle \operatorname {E} }$ má vlastnost

${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y],}$

a kovariance ${\displaystyle \operatorname {cov} [X,Y]}$ je nula, jak vyplývá z

${\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}$ .

Opačné tvrzení neplatí: pokud dvě náhodné proměnné mají kovarianci 0, stále nemusejí být nezávislé.

Podobně pro dva stochastické procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ : Pokud jsou nezávislé, pak jsou nekorelované.^{[7]:s.p. 151}

Charakteristická funkce

Dvě náhodné proměnné ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé právě tehdy, pokud charakteristická funkce náhodného vektoru ${\displaystyle (X,Y)}$ splňuje

${\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s)}$ .

Konkrétně charakteristická funkce jejich součtu je produktem jejich marginálních charakteristických funkcí:

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}$

ačkoli obrácená implikace neplatí.

Testování nezávislosti

Častou úlohou v matematické statistice je testování hypotézy, že naměřené veličiny jsou vzájemně nezávislé. Pro nominální znaky se k tomu účelu používá test nezávislosti nominálních znaků, jeden z rodiny chí kvadrátových testů. Pro znaky vyšších typů se obvykle používá testování nulovosti korelačních koeficientů (typicky Spearmanovy či Pearsonovy korelační koeficienty), i když je nutno mít na paměti, že nekorelovanost je nutným, ale nikoli dostatečným předpokladem stochastické nezávislosti, takže se může stát, že veličiny jsou nekorelované, ale přitom vzájemně závislé.

Podmíněná nezávislost

Pro jevy je podmíněná nezávislost definována takto: Jevy ${\displaystyle A}$ a ${\displaystyle B}$ jsou podmíněně nezávislé vzhledem k jevu ${\displaystyle C}$, když

${\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}$ .

Pro náhodné veličiny je definice podobná. Neformálně řečeno jsou dvě náhodné veličiny ${\displaystyle X}$ a ${\displaystyle Y}$ podmíněně nezávislé vzhledem k ${\displaystyle Z}$, pokud platí, že jakmile je známa hodnota ${\displaystyle Z}$, tak ${\displaystyle Y}$ už nepřidá žádné další informace o ${\displaystyle X}$ . Například dvě měření ${\displaystyle X}$ a ${\displaystyle Y}$ stejné hodnoty ${\displaystyle Z}$ nejsou nezávislé, ale jsou podmíněně nezávislé vzhledem k ${\displaystyle Z}$ (pokud chyby v obou měřeních nejsou nějakým způsobem spojeny).

Formální definice podmíněné nezávislosti je založena na myšlence podmíněného rozdělení Pokud ${\displaystyle X}$, ${\displaystyle Y}$ a ${\displaystyle Z}$ jsou diskrétní náhodné veličiny, pak definujeme ${\displaystyle X}$ a ${\displaystyle Y}$ jako podmíněně nezávislé vzhledem k ${\displaystyle Z}$, pokud

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

pro všechny ${\displaystyle x}$, ${\displaystyle y}$ a ${\displaystyle z}$ takové, že ${\displaystyle \mathrm {P} (Z=z)>0}$. Dále pokud jsou náhodné proměnné spojité a mají společnou funkci hustoty pravděpodobnosti ${\displaystyle f_{XYZ}(x,y,z)}$, pak ${\displaystyle X}$ a ${\displaystyle Y}$ jsou podmíněně nezávislé vzhledem k ${\displaystyle Z}$, pokud

${\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}$

pro všechna reálná čísla ${\displaystyle x}$, ${\displaystyle y}$ a ${\displaystyle z}$ taková, že ${\displaystyle f_{Z}(z)>0}$ .

Je-li diskrétní ${\displaystyle X}$ a ${\displaystyle Y}$ jsou podmíněně nezávislé vzhledem k ${\displaystyle Z}$, pak

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

pro všechny ${\displaystyle x}$, ${\displaystyle y}$ a ${\displaystyle z}$ při podmínce ${\displaystyle \mathrm {P} (Z=z)>0}$. To znamená, že rozdělení ${\displaystyle X}$ podmíněné ${\displaystyle Y}$ a ${\displaystyle Z}$ je stejné jako rozdělení podmíněné jen samotným ${\displaystyle Z}$. Podobná rovnice platí pro podmíněné funkce hustoty pravděpodobnosti v spojitém případě.

Nezávislost lze chápat jako zvláštní druh podmíněné nezávislosti, protože na pravděpodobnost lze pohlížet jako na zvláštní případ podmíněné pravděpodobnosti, pokud ji nepodmiňujeme žádným jevem.

Pro statistické testování podmíněné nezávislosti se používají chí-kvadrát testy a testy parciálních korelací.

Příklad podmíněné nezávislosti: Teplota a intenzita osvětlení na nějakém místě bývají korelovány, protože v noci a v zimě je obvykle méně světla a zároveň nižší teplota. Ze znalosti teploty tedy můžeme pomocí regresní analýzy upřesnit odhad intenzity osvětlení a naopak. Kdybychom však k pozorování teploty a intenzity osvětlení přidali ještě údaj o přesném čase, tak se může stát, že znalost teploty již (příliš) nevylepší odhad intenzity osvětlení nad rámec odhadu založeného na čase, takže osvětlení a teplota budou (téměř) statisticky nezávislé podmíněno časem.

Reference

V tomto článku byl použit překlad textu z článku Independence (probability theory) na anglické Wikipedii.

Externí odkazy

• Obrázky, zvuky či videa k tématu Nezávislost na Wikimedia Commons