Hadamardův součin

Hadamardův součin^[1], Schurův součin^[2] nebo součin po složkách je v matematice binární operací na maticích stejného typu. Výsledná matice se získá součinem odpovídajících složek daných matic. Ve srovnání se složitějším maticovým součinem je Hadamardův součin méně používaný.

Hadamardův součin je asociativní a distributivní vzhledem k součtu. Pokud je komutativní příslušný okruh, je i Hadamardův součin komutativní.

Hadamardův součin dvou pozitivně semidefinitních matic je opět pozitivně semidefinitní. Některé maticové parametry, např. normu, hodnost nebo spektrální poloměr, Hadamardova součinu lze odhadnout pomocí součinu příslušných parametrů výchozích matic.

Součin je pojmenován po francouzském matematiku Jacquesi Hadamardovi (1865–1963) a německém matematiku Issai Schurovi (1875–1941). Stejně jako se lze setkat s různými názvy, lze se setkat i s různými symboly: ${\displaystyle \circ }$, ${\displaystyle \odot }$^[3][4], .* nebo ${\displaystyle \bullet }$.

Pro matice ${\displaystyle {\boldsymbol {A}},{\boldsymbol {B}}}$ typu ${\displaystyle m\times n}$ nad okruhem ${\displaystyle (R,+,\cdot )}$, např. nad celými, reálnými nebo komplexními čísly, je Hadamardův součin ${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}}$ definován předpisem:

${\displaystyle ({\boldsymbol {A}}\circ {\boldsymbol {B}})_{i,j}=a_{i,j}\cdot b_{i,j}}$

po rozepsání:

${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}={\begin{pmatrix}a_{1,1}\cdot b_{1,1}&\cdots &a_{1,n}\cdot b_{1,n}\\\vdots &\ddots &\vdots \\a_{m,1}\cdot b_{m,1}&\cdots &a_{m,n}\cdot b_{m,n}\end{pmatrix}}\in R^{m\times n}}$

Výsledkem je matice stejného typu ${\displaystyle m\times n}$, jejíž každý prvek je určen součinem prvku matice ${\displaystyle {\boldsymbol {A}}}$ na stejné pozici s odpovídajícím prvkem matice ${\displaystyle {\boldsymbol {B}}}$.

Pro matice různých rozměrů, tj. pro typy ${\displaystyle m\times n}$ a ${\displaystyle p\times q}$, kde ${\displaystyle m\neq p}$ nebo ${\displaystyle n\neq q}$, není Hadamardův součin definován.

Hadamardův součin dvou reálných matic typu ${\displaystyle 2\times 3}$

${\displaystyle {\boldsymbol {A}}={\begin{pmatrix}2&3&1\\0&8&-2\end{pmatrix}}}$ a ${\displaystyle {\boldsymbol {B}}={\begin{pmatrix}3&1&4\\7&9&5\end{pmatrix}}}$

je

${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}={\begin{pmatrix}2&3&1\\0&8&-2\end{pmatrix}}\circ {\begin{pmatrix}3&1&4\\7&9&5\end{pmatrix}}={\begin{pmatrix}2\cdot 3&3\cdot 1&1\cdot 4\\0\cdot 7&8\cdot 9&-2\cdot 5\end{pmatrix}}={\begin{pmatrix}6&3&4\\0&72&-10\end{pmatrix}}}$

Hadamardův součin v podstatě dědí vlastnosti základního okruhu. Je vždy asociativní, neboli pro matice ${\displaystyle {\boldsymbol {A}},{\boldsymbol {B}},{\boldsymbol {C}}\in R^{m\times n}}$ platí:

${\displaystyle {\boldsymbol {A}}\circ ({\boldsymbol {B}}\circ {\boldsymbol {C}})=({\boldsymbol {A}}\circ {\boldsymbol {B}})\circ {\boldsymbol {C}}}$

Hadamardův součin je lineární vůči skalárnímu násobku v obou činitelích, neboli pro každé ${\displaystyle a\in R}$ platí:

${\displaystyle a\,({\boldsymbol {A}}\circ {\boldsymbol {B}})=(a\,{\boldsymbol {A}})\circ {\boldsymbol {B}}={\boldsymbol {A}}\circ (a\,{\boldsymbol {B}})}$ .

Nad komutativním okruhem je i Hadamardův součin komutativní:

${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}={\boldsymbol {B}}\circ {\boldsymbol {A}}}$

čímž se liší od běžně používaného maticového součinu.

Vůči součtu matic po složkách ${\displaystyle {\boldsymbol {A}}+{\boldsymbol {B}}}$ platí distribuční zákony:

${\displaystyle ({\boldsymbol {A}}+{\boldsymbol {B}})\circ {\boldsymbol {C}}={\boldsymbol {A}}\circ {\boldsymbol {C}}+{\boldsymbol {B}}\circ {\boldsymbol {C}}}$ a ${\displaystyle {\boldsymbol {A}}\circ ({\boldsymbol {B}}+{\boldsymbol {C}})={\boldsymbol {A}}\circ {\boldsymbol {B}}+{\boldsymbol {A}}\circ {\boldsymbol {C}}}$ .

Pro transpozici Hadamardova součinu platí:

${\displaystyle ({\boldsymbol {A}}\circ {\boldsymbol {B}})^{\mathsf {T}}={\boldsymbol {A}}^{\mathsf {T}}\circ {\boldsymbol {B}}^{\mathsf {T}}}$

Hadamardův součin dvou symetrických matic je symetrický.

V Kroneckerově součinu ${\displaystyle {\boldsymbol {A}}\otimes {\boldsymbol {B}}}$ matic ${\displaystyle {\boldsymbol {A}},{\boldsymbol {B}}\in R^{m\times n}}$ se Hadamardův součin ${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}}$ vyskytuje jako podmatice určená sloupcovými indexy ${\displaystyle 1,n+2,2n+3,\ldots ,n^{2}}$ s řádkovými indexy${\displaystyle 1,m+2,2m+3,\ldots ,m^{2}}$. V důsledku pro hodnost těchto součinů platí:^[5]

${\displaystyle \operatorname {rank} ({\boldsymbol {A}}\circ {\boldsymbol {B}})\leq \operatorname {rank} ({\boldsymbol {A}}\otimes {\boldsymbol {B}})=\operatorname {rank} {\boldsymbol {A}}\cdot \operatorname {rank} {\boldsymbol {B}}}$

Na diagonálních maticích se Hadamardův součin se shoduje se standardním maticovým součinem ${\displaystyle {\boldsymbol {D}}\circ {\boldsymbol {D}}'={\boldsymbol {D}}\cdot {\boldsymbol {D}}'}$.

Pro Hadamardův součin a standardní maticový součin, jichž se účastní diagonální matice ${\displaystyle {\boldsymbol {D}}}$, platí následující vztahy:^[6]

${\displaystyle {\boldsymbol {D}}\cdot ({\boldsymbol {A}}\circ {\boldsymbol {B}})=({\boldsymbol {D}}\cdot {\boldsymbol {A}})\circ {\boldsymbol {B}}={\boldsymbol {A}}\circ ({\boldsymbol {D}}\cdot {\boldsymbol {B}})}$

${\displaystyle ({\boldsymbol {A}}\circ {\boldsymbol {B}})\cdot {\boldsymbol {D}}=({\boldsymbol {A}}\cdot {\boldsymbol {D}})\circ {\boldsymbol {B}}={\boldsymbol {A}}\circ ({\boldsymbol {B}}\cdot {\boldsymbol {D}})}$

${\displaystyle {\boldsymbol {D}}\cdot ({\boldsymbol {A}}\circ {\boldsymbol {B}})\cdot {\boldsymbol {D}}=({\boldsymbol {D}}\cdot {\boldsymbol {A}}\cdot {\boldsymbol {D}})\circ {\boldsymbol {B}}={\boldsymbol {A}}\circ ({\boldsymbol {D}}\cdot {\boldsymbol {B}}\cdot {\boldsymbol {D}})=({\boldsymbol {D}}\cdot {\boldsymbol {A}})\circ ({\boldsymbol {B}}\cdot {\boldsymbol {D}})=({\boldsymbol {A}}\cdot {\boldsymbol {D}})\circ ({\boldsymbol {D}}\cdot {\boldsymbol {B}})}$

V unitárních okruzích lze pomocí vektorů ${\displaystyle {\boldsymbol {1}}}$ ze samých jedniček ukázat, že součet všech prvků v Hadamardově součinu je roven stopě součinu ${\displaystyle {\boldsymbol {AB}}^{\mathsf {T}}}$:^[1]

${\displaystyle \operatorname {tr} \left({\boldsymbol {AB}}^{\mathsf {T}}\right)={\boldsymbol {1}}_{m}^{\mathsf {T}}\left({\boldsymbol {A}}\circ {\boldsymbol {B}}\right){\boldsymbol {1}}_{n}}$

Uvedený vztah lze zobecnit pro diagonální matice ${\displaystyle {\boldsymbol {D}}_{\boldsymbol {x}}\in R^{m\times m}}$ a ${\displaystyle {\boldsymbol {D}}_{\boldsymbol {y}}\in R^{n\times n}}$ s vektory ${\displaystyle {\boldsymbol {x}}\in R^{m}}$ a ${\displaystyle {\boldsymbol {y}}\in R^{n}}$ na diagonále:

${\displaystyle {\boldsymbol {x}}^{\mathsf {T}}({\boldsymbol {A}}\circ {\boldsymbol {B}}){\boldsymbol {y}}=\operatorname {tr} \left({\boldsymbol {D}}_{\boldsymbol {x}}{\boldsymbol {AD}}_{\boldsymbol {y}}{\boldsymbol {B}}^{\mathsf {T}}\right)}$

Pro čtvercové matice ${\displaystyle {\boldsymbol {A}}}$ a ${\displaystyle {\boldsymbol {B}}}$ řádu ${\displaystyle n}$ platí, že řádkové součty jejich Hadamardova součinu jsou diagonálními prvky součinu ${\displaystyle {\boldsymbol {AB}}^{\mathsf {T}}}$:

${\displaystyle \sum _{i=1}^{n}({\boldsymbol {A}}\circ {\boldsymbol {B}})_{i,j}=\left({\boldsymbol {B}}^{\mathsf {T}}{\boldsymbol {A}}\right)_{j,j}=\left({\boldsymbol {AB}}^{\mathsf {T}}\right)_{i,i}}$

Podobně platí:

${\displaystyle \left({\boldsymbol {xy}}^{\mathsf {T}}\right)\circ {\boldsymbol {A}}={\boldsymbol {D}}_{\boldsymbol {x}}{\boldsymbol {AD}}_{\boldsymbol {y}}}$

Kombinaci Hadamardova součinu a součinu vektoru s maticí lze dále vyjádřit jako:

${\displaystyle ({\boldsymbol {A}}\circ {\boldsymbol {B}}){\boldsymbol {y}}=\operatorname {diag} \left({\boldsymbol {AD}}_{\boldsymbol {y}}{\boldsymbol {B}}^{\mathsf {T}}\right)}$

kde ${\displaystyle \operatorname {diag} ({\boldsymbol {M}})}$ je vektor sestavený z prvků na diagonále matice ${\displaystyle {\boldsymbol {M}}}$.

Množina matic typu ${\displaystyle m\times n}$ nad okruhem ${\displaystyle R}$ tvoří opět okruh ${\displaystyle (R^{m\times n},+,\circ )}$ vzhledem k součtu a Hadamardovu součinu. Pokud je ${\displaystyle R}$ unitární okruh s jednotkovým prvkem ${\displaystyle 1}$, pak má okruh matic také jednotkový prvek, jmenovitě jedničkovou matici ${\displaystyle {\boldsymbol {J}}\in R^{m\times n}}$, jejíž jsou všechny rovny 1. Pro všechny matice ${\displaystyle {\boldsymbol {A}}\in R^{m\times n}}$ a jedničkovou matici ${\displaystyle {\boldsymbol {J}}}$pak platí:

${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {J}}={\boldsymbol {J}}\circ {\boldsymbol {A}}={\boldsymbol {A}}}$

Pokud je ${\displaystyle R}$ těleso, potom lze matice, které neobsahují na žádné pozici nulový prvek, invertovat vzhledem k Hadamardovu součinu. Množina takto invertibilních matic pak tvoří grupu ${\displaystyle (R^{m\times n},\circ )}$, kde inverzní prvek ${\displaystyle {\hat {\boldsymbol {A}}}}$ k matici ${\displaystyle {\boldsymbol {A}}}$ je dán předpisem:

${\displaystyle {\hat {a}}_{i,j}=a_{i,j}^{-1}}$

V následujících odstavcích jsou uvažovány jen matice řádu ${\displaystyle n}$ nad tělesem ${\displaystyle T}$ reálných nebo komplexních čísel.

Schurova věta o součinu z roku 1911^[7] uvádí, že Hadamardův součin ${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}}$ pozitivně semidefinitních matic ${\displaystyle {\boldsymbol {A}},{\boldsymbol {B}}\in T^{n\times n}}$ je opět pozitivně semidefinitní. Schur dokonce ukázal,^[8] že pokud je matice ${\displaystyle {\boldsymbol {B}}}$ pozitivně definitivní a matice ${\displaystyle {\boldsymbol {A}}}$ je pozitivně semidefinitní s kladnými prvky na diagonále, pak je Hadamardův součin ${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}}$ také pozitivně definitní.

Pro determinant Hadamardova součinu pozitivně semidefinitních matic ${\displaystyle {\boldsymbol {A}}}$ a ${\displaystyle {\boldsymbol {B}}}$ platí, že je větší nebo roven součinu jejich determinantů:^[6]

${\displaystyle \det({\boldsymbol {A}}\circ {\boldsymbol {B}})\geq \det({\boldsymbol {A}})\det({\boldsymbol {B}})}$

Pro vlastní čísla Hadamardova součinu ${\displaystyle {\boldsymbol {A}}\circ {\boldsymbol {B}}}$ pozitivně semidefinitních matic navíc platí:

${\displaystyle \left(\min _{1\leq i\leq n}a_{i,i}\right)\lambda _{\min }({\boldsymbol {B}})\leq \lambda {_{\min }}({\boldsymbol {A}}\circ {\boldsymbol {B}})\leq \lambda {_{\max }}({\boldsymbol {A}}\circ {\boldsymbol {B}})\leq \left(\max _{1\leq i\leq n}a_{i,i}\right)\lambda {_{\max }}({\boldsymbol {B}})}$

Jsou-li ${\displaystyle {\boldsymbol {A}}}$ a ${\displaystyle {\boldsymbol {B}}}$ pozitivně definitní matice řádu ${\displaystyle n}$, pak pro každé ${\displaystyle k\in \{1,\dots ,n\}}$ platí následující nerovnost zahrnující Hadamardův součin:^[9]

${\displaystyle \prod _{i=k}^{n}\lambda _{i}({\boldsymbol {A}}\circ {\boldsymbol {B}})\geq \prod _{i=k}^{n}\lambda _{i}({\boldsymbol {A}}\cdot {\boldsymbol {B}})}$

kde ${\displaystyle \lambda _{i}({\boldsymbol {M}})}$ znamená ${\displaystyle i}$-té největší vlastní číslo matice ${\displaystyle {\boldsymbol {M}}}$.

Pokud je matice ${\displaystyle {\boldsymbol {A}}}$ diagonalizovatelná, čili pokud ji lze rozložit na součin ${\displaystyle {\boldsymbol {A}}={\boldsymbol {SDS}}^{-1}}$, kde ${\displaystyle {\boldsymbol {S}}}$ je regulární matice a ${\displaystyle {\boldsymbol {D}}}$ je diagonální matice s vlastními čísly ${\displaystyle \lambda _{1},\lambda _{2},\ldots ,\lambda _{n}}$ matice ${\displaystyle {\boldsymbol {A}}}$ na diagonále, tak potom platí:^[10]

${\displaystyle {\begin{pmatrix}a_{1,1}\\a_{2,2}\\\vdots \\a_{n,n}\end{pmatrix}}=({\boldsymbol {S}}\circ ({\boldsymbol {S}}^{-1})^{\mathsf {T}}){\begin{pmatrix}\lambda _{1}\\\lambda _{2}\\\vdots \\\lambda _{n}\end{pmatrix}}}$

Má-li čtvercová matice ${\displaystyle {\boldsymbol {A}}}$ singulární rozklad ${\displaystyle {\boldsymbol {A}}={\boldsymbol {U\Sigma V}}^{\mathsf {H}}}$ se singulárními hodnotami ${\displaystyle \sigma _{1},\sigma _{2},\ldots ,\sigma _{n}}$, potom pro ni platí:^[10]

${\displaystyle {\begin{pmatrix}a_{1,1}\\a_{2,2}\\\vdots \\a_{n,n}\end{pmatrix}}=({\boldsymbol {U}}\circ ({\boldsymbol {V}}^{\mathsf {H}})^{\mathsf {T}}){\begin{pmatrix}\sigma _{1}\\\sigma _{2}\\\vdots \\\sigma _{n}\end{pmatrix}}}$

Je-li matice ${\displaystyle {\boldsymbol {A}}}$ pozitivně definitní, pak pro spektrální normu Hadamardova součinu platí:^[8]

${\displaystyle \|{\boldsymbol {A}}\circ {\boldsymbol {B}}\|_{2}\leq \left(\max _{1\leq i\leq n}a_{i,i}\right)\|{\boldsymbol {B}}\|_{2}}$ .

Pokud lze matici rozložit na součin dvou matic ${\displaystyle {\boldsymbol {A}}={\boldsymbol {X}}^{\mathsf {H}}{\boldsymbol {Y}}}$, pak platí:

${\displaystyle \|{\boldsymbol {A}}\circ {\boldsymbol {B}}\|_{2}\leq c({\boldsymbol {X}})c({\boldsymbol {Y}})\|{\boldsymbol {B}}\|_{2}}$

kde ${\displaystyle c({\boldsymbol {M}})}$ je maximální euklidovská norma sloupcových vektorů matice ${\displaystyle {\boldsymbol {M}}}$.

Pro spektrální normu a spektrální poloměr Hadamardova součinu platí:^[5]

${\displaystyle \|{\boldsymbol {A}}\circ {\boldsymbol {B}}\|_{2}\leq \|{\boldsymbol {A}}\otimes {\boldsymbol {B}}\|_{2}=\|{\boldsymbol {A}}\|_{2}\cdot \|{\boldsymbol {B}}\|_{2}}$

${\displaystyle \rho ({\boldsymbol {A}}\circ {\boldsymbol {B}})\leq \rho ({\boldsymbol {A}}\otimes {\boldsymbol {B}})=\rho ({\boldsymbol {A}})\cdot \rho ({\boldsymbol {B}})}$

Pro matice ${\displaystyle {\boldsymbol {A}},{\boldsymbol {B}}\in T^{n\times n}}$ vektory ${\displaystyle {\boldsymbol {x}},{\boldsymbol {y}}\in T^{n}}$ a diagonální matice ${\displaystyle {\boldsymbol {D}}_{\boldsymbol {x}},{\boldsymbol {D}}_{\boldsymbol {y}}\in T^{n\times n}}$ s ${\displaystyle {\boldsymbol {x}}}$ a ${\displaystyle {\boldsymbol {y}}}$ na diagonále platí:^[11]

${\displaystyle {\boldsymbol {x}}^{\mathsf {H}}({\boldsymbol {A}}\circ {\boldsymbol {B}}){\boldsymbol {y}}=\operatorname {tr} ({\boldsymbol {D}}_{\boldsymbol {x}}^{\mathsf {H}}\cdot {\boldsymbol {A}}\cdot {\boldsymbol {D}}_{\boldsymbol {y}}\cdot {\boldsymbol {B}}^{\mathsf {T}})}$

V důsledku lze seskvilineární formu generovanou Hadamardovým součinem zapsat pomocí stopy. Následně lze ukázat, že Frobeniova norma je vzhledem k Hadamardově součinu submultiplikativní:^[11]

${\displaystyle \|{\boldsymbol {A}}\circ {\boldsymbol {B}}\|_{F}\leq \|{\boldsymbol {A}}\|_{F}\cdot \|{\boldsymbol {B}}\|_{F}}$

Hadamardův součin je integrován do řady vědeckých nebo numerických programovacích jazyků různými způsoby:

• V numerickém softwarovém balíku Matlab je Hadamardův součin reprezentován kombinací symbolů .*, zatímco * znamená standardní maticový součin.
• V programovacím jazyce Fortran je Hadamardův součin implementován pomocí jednoduchého operátoru násobení *, zatímco součin matic je prováděn samostatnou rutinou matmul.
• Podobně numerická knihovna NumPy v Pythonu interpretuje a*b nebo a.multiply(b) jako Hadamardův součin a pro maticový součin používá a@b nebo a.matmul(b). V symbolické knihovně SymPy, značí a*b a a@b maticový součin, zatímco Hadamardův součin se provádí voláním metody a.multiply_elementwise(b).^[12]
• Ve statistickém softwaru R je Hadamardův součin reprezentován *, zatímco maticový součin je realizován %*%.
• V programovacích jazycích pro psaní shaderů, jako je GLSL, provede operátor * Hadamardův součin mezi dvěma vektory. Podobně operátor / provede Hadamardovo dělení. Operátor * se však také používá k výpočtu součinu dvou matic nebo matice s vektorem.
• V C++ poskytuje knihovna Eigen funkci cwiseProduct. Knihovna Armadillo používá zápis a % b pro Hadamardův součin a a * b pro standardní součin.

Hadamardův součin s kvantizační maticí se používá ve ztrátových kompresních a dekompresních algoritmech, jako například JPEG.

Při zpracování obrazu lze Hadamardův součin použít pro vylepšení, potlačení nebo maskování oblastí obrazu. Jedna matice představuje původní obrázek, druhá funguje jako váha nebo maskovací matice.

Ve strojovém učení se používá například k popisu architektury rekurentních neuronových sítí jako GRU nebo LSTM.^[13]

Používá se také ke studiu statistických vlastností náhodných vektorů a matic.^[14][15]

Analogickým způsobem jako součin lze definovat i podíl po složkách:^[16]

${\displaystyle {\boldsymbol {A}}\oslash {\boldsymbol {B}}={\begin{pmatrix}a_{1,1}/b_{1,1}&\cdots &a_{1,n}/b_{1,n}\\\vdots &\ddots &\vdots \\a_{m,1}/b_{m,1}&\cdots &a_{m,n}/b_{m,n}\end{pmatrix}}\in R^{m\times n}}$, kde ${\displaystyle b_{i,j}\neq 0}$ pro ${\displaystyle i\in \{1,\dots ,m\}}$ a ${\displaystyle j\in \{1,\dots ,n\}}$

V tomto článku byly použity překlady textů z článků Hadamard-Produkt na německé Wikipedii a Hadamard product (matices) na anglické Wikipedii.

• HORN, Roger A. The Hadamard Product. In: JOHNSON, Charles R. Matrix Theory and Applications (= Proceedings of Symposia in Applied Mathematics. Band 40). Providence (R.I.): American Mathematical Society, 1990. ISBN 0-8218-0154-6. S. 87-170.

• HORN, Roger A.; JOHNSON, Charles R. Topics in matrix analysis. Transferred to digital printing. vyd. Cambridge: Cambridge Univ. Press 607 s. ISBN 978-0-521-46713-1, ISBN 978-0-521-30587-7. 

• Frobeniův skalární součin
• Kroneckerův součin matic