Lineární regrese

Lineární regrese je matematická metoda používaná pro proložení souboru bodů v grafu přímkou. O bodech reprezentujících měřená data se předpokládá, že jejich x-ové souřadnice jsou přesné, zatímco ypsilonové souřadnice mohou být zatíženy náhodnou chybou, přičemž předpokládáme, že závislost y na x lze graficky vyjádřit přímkou. Pokud měřené body proložíme přímkou, tak při odečítání z grafu bude mezi ypsilonovou hodnotou měřeného bodu a ypsilonovou hodnotou ležící na přímce odchylka. Podstatou lineární regrese je nalezení takové přímky, aby součet druhých mocnin těchto odchylek byl co nejmenší. Lineární regresi lze zobecnit i pro prokládání jinou funkcí než přímkou. Termín lineární regrese proto může označovat dvě částečně odlišné věci:

• Lineární regrese představuje aproximaci daných hodnot přímkou metodou nejmenších čtverců. Pokud tuto přímku vyjádříme rovnicí ${\displaystyle y=b_{1}+b_{2}x}$, jedná se o nalezení optimálních hodnot koeficientů ${\displaystyle b_{1}}$ a ${\displaystyle b_{2}}$.

• V obecnějším případě může lineární regrese znamenat aproximaci daných hodnot ${\displaystyle [x_{i},y_{i}]}$ takovou funkcí ${\displaystyle y=f(x,b_{1},\ldots ,b_{k})}$, kterou lze vyjádřit jako lineární kombinaci funkcí f₁ až f_k: ${\displaystyle y=b_{1}f_{1}(x)+\ldots +b_{k}f_{k}(x)}$. Koeficienty ${\displaystyle b_{1},\ldots ,b_{k}}$ se opět určují metodou nejmenších čtverců.

Homoskedasticita (homogenita ve varianci) dat je běžným jevem. Avšak její předpoklad může vést k přecenění^[zdroj⁠?!] korelačního koeficientu. V jistých případech je tedy nutné uvážit heteroskedasticitu a použít váženou regresi.

Uvažujme funkční závislost: ${\displaystyle f(x)=ax+b}$

Součet čtverců pak bude vypadat takto:

${\displaystyle S(a,b)=\sum _{i=1}^{n}{[f(x_{i})-y_{i}]^{2}}=\sum _{i=1}^{n}{(ax_{i}+b-y_{i})^{2}}}$

kde ${\displaystyle [x_{i},y_{i}]}$ jsou souřadnice aproximovaných bodů.

Abychom našli minimum součtu (našli koeficienty ${\displaystyle a}$, ${\displaystyle b}$ tak, aby nalezená závislost vhodně aproximovala daná data), položíme obě parciální derivace součtu čtverců rovny nule:

${\displaystyle 0={\partial S \over \partial a}=2\sum _{i=1}^{n}(ax_{i}+b-y_{i})x_{i}}$

${\displaystyle 0={\partial S \over \partial b}=2\sum _{i=1}^{n}(ax_{i}+b-y_{i})}$

Úpravami obdržíme soustavu:

${\displaystyle a\sum _{i=1}^{n}{x_{i}^{2}}+b\sum _{i=1}^{n}{x_{i}}=\sum _{i=1}^{n}x_{i}y_{i}}$

${\displaystyle a\sum _{i=1}^{n}{x_{i}}+bn=\sum _{i=1}^{n}y_{i}}$

Lze ukázat, že matice této soustavy je regulární pro všechna ${\displaystyle n\geq 2}$, a má tedy právě jedno řešení. Obecně lze také ukázat, že v tomto bodě má součet čtverců minimum.

Jejím řešením pro konkrétní hodnoty ${\displaystyle x_{i}}$ a ${\displaystyle y_{i}}$ dostaneme konečně hledané hodnoty parametrů ${\displaystyle a}$ a ${\displaystyle b}$.

${\displaystyle a={\frac {n\sum {x_{i}y_{i}}-\sum {x_{i}}\sum {y_{i}}}{n\sum {x_{i}^{2}}-\left(\sum {x_{i}}\right)^{2}}}}$

${\displaystyle b={\frac {\sum {x_{i}^{2}}\sum {y_{i}}-\sum {x_{i}}\sum {x_{i}y_{i}}}{n\sum {x_{i}^{2}}-\left(\sum {x_{i}}\right)^{2}}}}$

Podobný postup lze aplikovat na jakýkoliv druh závislosti i více proměnných.

Pokud je každá hodnota zatížena jinou chybou ${\displaystyle \sigma _{i}}$ (např. měříme několika různými přístroji), je výhodné zahrnout i toto do aproximace. Označíme-li ${\displaystyle \langle x\rangle =\sum _{i=1}^{n}{\frac {x_{i}}{\sigma _{i}^{2}}}}$, potom dostáváme

${\displaystyle a={\frac {\langle 1\rangle \langle xy\rangle -\langle x\rangle \langle y\rangle }{\langle 1\rangle \langle x^{2}\rangle -\langle x\rangle ^{2}}}}$

${\displaystyle b={\frac {\langle y\rangle \langle x^{2}\rangle -\langle xy\rangle \langle x\rangle }{\langle 1\rangle \langle x^{2}\rangle -\langle x\rangle ^{2}}}}$

Pokud je požadováno, aby přímka procházela počátkem, hledá se aproximace ${\displaystyle y=ax}$. Pro konstantu ${\displaystyle a}$ lze odvodit následující vztah:

${\displaystyle a={\frac {\sum {x_{i}y_{i}}}{\sum {x_{i}^{2}}}}}$

Máme-li závislost ${\displaystyle y=ax}$ a hodnoty jsou zatíženy chybami ${\displaystyle \sigma _{i}}$, pak pro odhad parametru ${\displaystyle a}$ platí ${\displaystyle a={\frac {\langle xy\rangle }{\langle x^{2}\rangle }}}$ (je užito označení ${\displaystyle \langle x\rangle =\sum _{i=1}^{n}{\frac {x}{\sigma _{i}^{2}}}}$ a ${\displaystyle \sigma _{i}}$ značí chybu (směrodatnou odchylku) ${\displaystyle i}$-tého měření).

Dále pro rozptyl parametru ${\displaystyle a}$ platí ${\displaystyle V[a]={\frac {1}{\langle x^{2}\rangle }}}$.

Matlab umožňuje použít funkci P = POLYFIT(X, Y, 1), kde poslední parametr 1 udává, že hledáme koeficienty polynomu prvního řádu. [1] [2]^{[nedostupný zdroj]}

V Excelu a Calcu (LibreOffice a OpenOffice.org) lze koeficient a zjistit funkcí SLOPE(Y; X) [3] [4] a konstantu b funkcí INTERCEPT(Y; X) [5] [6]. Případně lze oba koeficienty zjistit maticově zadanou funkcí {=LINEST(Y;X)}. [7] [8] V českém Excelu se tato funkce nazývá LINREGRESE. [9]

V obecnějším případě je možné danými hodnotami ${\displaystyle [x_{i};y_{i}]}$, ${\displaystyle i=1,\ldots ,n}$ proložit funkci ${\displaystyle y=f(x,b_{1},\ldots ,b_{k})}$ sestavenou jako lineární kombinaci ${\displaystyle k}$ funkcí ${\displaystyle y=b_{1}f_{1}(x)+\ldots +b_{k}f_{k}(x)}$, kde ${\displaystyle f_{1}(x),\ldots ,f_{k}(x)}$ jsou libovolné (zpravidla lineárně nezávislé) funkce. Regrese se nazývá lineární, neboť funkční předpis ${\displaystyle y=f(x,b_{1},\ldots ,b_{k})}$ je lineární v proměnných ${\displaystyle b_{1},\ldots ,b_{k}}$, tedy v koeficientech, které podrobujeme regresi. Jinými slovy, úlohu lze formulovat algebraicky jako (lineární) metoda nejmenších čtverců.

Lineární regresí je tedy i výše popsané proložení bodů přímkou (${\displaystyle f_{1}(x)=x}$, ${\displaystyle f_{2}(x)=1}$, ${\displaystyle f(x)=b_{1}x+b_{2}}$), ale také parabolou (${\displaystyle f_{1}(x)=x^{2}}$, ${\displaystyle f_{2}(x)=x}$, ${\displaystyle f_{3}(x)=1}$, ${\displaystyle f(x)=b_{1}x^{2}+b_{2}x+b_{3}}$) nebo obecným polynomem. Poznamenejme, že s proložením množiny bodů parabolou, resp. obecným polynomem se můžeme v literatuře setkat pod pojmem kvadratická, resp. polynomická (či polynomiální) regrese.^[1]

Koeficienty ${\displaystyle b_{1},\ldots ,b_{k}}$ jsou vypočteny metodou nejmenších čtverců, tedy tak, aby součet druhých mocnin odchylek modelu od daných dat, tj.

${\displaystyle S=\sum _{i=1}^{n}(y_{i}-f(x_{i},b_{1},\ldots ,b_{k}))^{2}=\sum _{i=1}^{n}(b_{1}f_{1}(x_{i})+\ldots +b_{k}f_{k}(x_{i})-y_{i})^{2},}$

byl minimální.

Pro koeficienty, které minimalizují výše uvedené kritérium ${\displaystyle S}$, musí platit, že všechny první parciální derivace kritéria podle těchto koeficientů musí být rovny nule.

${\displaystyle {\frac {\partial S}{\partial b_{1}}}=\ldots ={\frac {\partial S}{\partial b_{k}}}=0}$

Dalšími úpravami se lze dostat k soustavě lineárních rovnic:

${\displaystyle {\begin{matrix}a_{11}b_{1}&+&\ldots &+&a_{1k}b_{k}&=&a_{1}\\\vdots &&\ddots &&\vdots &=&\vdots \\a_{k1}b_{1}&+&\ldots &+&a_{kk}b_{k}&=&a_{k}\\\end{matrix}}}$

Kde jednotlivé prvky ${\displaystyle a_{jk}}$ a ${\displaystyle a_{j}}$ znamenají:

${\displaystyle a_{jk}=\sum _{i=1}^{n}{f_{j}(x_{i})f_{k}(x_{i})}}$

${\displaystyle a_{j}=\sum _{i=1}^{n}{f_{j}(x_{i})y_{i}}}$

Výše uvedenou soustavu rovnic lze řešit některou z metod uvedených v článku Soustava lineárních rovnic.

Jiným způsobem, jak vypočítat hledané koeficienty, je sestavení přeurčené soustavy rovnic a její vyřešení, opět metodou nejmenších čtverců, ale poněkud odlišným postupem. Přeurčená soustava rovnic může vypadat následovně:

${\displaystyle \mathbf {A} \mathbf {x} =\mathbf {b} }$

${\displaystyle \mathbf {A} =\left[{\begin{matrix}f_{1}(x_{1})&\ldots &f_{k}(x_{1})\\\vdots &&\vdots \\f_{1}(x_{n})&\cdots &f_{k}(x_{n})\end{matrix}}\right],\quad \mathbf {x} =\left[{\begin{matrix}b_{1}\\\vdots \\b_{k}\end{matrix}}\right],\quad \mathbf {b} =\left[{\begin{matrix}y_{1}\\\vdots \\y_{n}\end{matrix}}\right],\quad k\leq n.}$

Hledané koeficienty, umístěné ve vektoru ${\displaystyle \mathbf {x} }$, lze, za předpokladu lineární nezávislosti sloupců matice ${\displaystyle \mathbf {A} }$, vyjádřit vztahem:

${\displaystyle \mathbf {x} =\left(\mathbf {A} ^{T}\mathbf {A} \right)^{-1}\mathbf {A} ^{T}\mathbf {b} }$

Matlab umožňuje soustavu rovnic Ax=b řešit velmi snadno pomocí operátoru \ (zpětné lomítko), tedy x = A \ b. Ekvivalentní je funkce MLDIVIDE, tedy x = mldivide(A, b). [10]

V Excelu a Calcu (LibreOffice a OpenOffice.org) lze výše sestavenou přeurčenou soustavu rovnic řešit použitím maticové funkce {=LINEST(known_y's; known_x's; const)} [11] [12] (v českém Excelu LINREGRESE(pole_y; pole_x; b) [13]), kde první parametr known_y's (česky pole_y) je svislá oblast buněk obsahující složky vektoru b a druhý parametr known_x's (česky pole_x) je oblast obsahující prvky matice A. Výsledný vektor x se nachází ve vodorovné oblasti, přičemž jeho složky jsou umístěny v buňkách v opačném pořadí, tedy b_k je v buňce nejvíce vlevo a b₁ je nejvíce vpravo. Třetí parametr const (česky b) musí být v tomto příkladu roven nule, správné použití tedy je: {=LINEST(b; A; 0)}.

Ovšem nejjednodušším způsobem odhadu parametrů metodou nejmenších čtverců je použití ekonometrického softwaru jako např. STATA, Gretl, Eviews nebo R, kde existují obecné příkazy pro jejich výpočet. Zároveň i tyto programy umožňují jednoduše testovat předpoklady daného modelu.

Na lineární problém lze transformovat i aproximaci mocninnou funkcí ${\displaystyle f(x)=a\cdot x^{b}}$ nebo aproximaci funkcí exponenciální ${\displaystyle f(x)=a\cdot b^{x}}$.

Problém, jak aproximovat původní data ${\displaystyle [x_{i},y_{i}]}$ křivkou ${\displaystyle y=a\cdot x^{b}}$ lze převést na podobný problém zlogaritmováním rovnice křivky.

${\displaystyle \ln(y)=\ln(a)+b\cdot \ln(x)}$,

přičemž místo ${\displaystyle \ln(a)}$ lze psát ${\displaystyle c}$.

${\displaystyle \ln(y)=c+b\cdot \ln(x)}$

Vznikl tak problém, jak aproximovat logaritmovaná původní data ${\displaystyle [\ln(x_{i}),\ln(y_{i})]}$ přímkou ${\displaystyle y=c+b\cdot x}$, který již problémem není. Koeficient ${\displaystyle a}$ v mocninné funkci lze z koeficientu ${\displaystyle c}$ vypočítat jako ${\displaystyle a=e^{c}}$.

Problém, jak aproximovat původní data ${\displaystyle [x_{i},y_{i}]}$ křivkou ${\displaystyle y=a\cdot b^{x}}$ lze převést na podobný problém zlogaritmováním rovnice křivky.

${\displaystyle \ln(y)=\ln(a)+x\cdot \ln(b)}$,

přičemž místo konstant ${\displaystyle \ln(a)}$ a ${\displaystyle \ln(b)}$ lze psát ${\displaystyle c}$ a ${\displaystyle d}$.

${\displaystyle \ln(y)=c+x\cdot d}$

Na rozdíl od aproximace mocninnou funkcí, stačí z původních dat logaritmovat pouze hodnoty ${\displaystyle y_{i}}$ a řešit problém, jak aproximovat data ${\displaystyle [x_{i},\ln(y_{i})]}$ přímkou ${\displaystyle y=c+d\cdot x}$. Koeficienty ${\displaystyle a}$ a ${\displaystyle b}$ v exponenciální funkci lze z koeficientů ${\displaystyle c}$ a ${\displaystyle d}$ vypočítat jako ${\displaystyle a=e^{c}}$, ${\displaystyle b=e^{d}}$.

• Aproximace
• Lineární funkce
• Kvadratická regrese
• Koeficient determinace
• Metoda nejmenších čtverců
• Polynomická regrese
• Regresní analýza

• Obrázky, zvuky či videa k tématu lineární regrese na Wikimedia Commons
• Lineární regrese tak nebo jinak: https://web.archive.org/web/20061002153201/http://www.kolej.mff.cuni.cz/%7Elmotm275/skripta/sbirka/html/node49.html
• Lineární regrese v Microsoft Excel: http://praktika.kvalitne.cz/index.php?clanek=text_navod&text=22 Archivováno 29. 6. 2020 na Wayback Machine.
• Aproximace obecnou funkcí, přímkou, polynomem, statistika: http://amper.ped.muni.cz/…