Произведение Адамара

Произведение Адамара оперирует двумя матрицами одинаковой размерности и создаёт новую матрицу идентичной размерности.

Произведение Адамара (произведение Шура, покомпонентное произведение) — бинарная операция над двумя матрицами одинаковой размерности, результатом которой является матрица той же размерности, в которой каждый элемент с индексами $i,j$ — это произведение элементов с индексами $i,j$ исходных матриц. Операция названа в честь французского математика Жака Адамара и немецкого математика Исая Шура.

Определение и свойства

Для двух матриц $A,B$ одинаковой размерности $m\times n$ произведение Адамара определено как покомпонентное произведение двух матриц:

$(A\circ B)_{i,j}=(A\odot B)_{i,j}=(A)_{i,j}\cdot (B)_{i,j}$

Для двух матриц, которые имеют разные размерности, произведение Адамара не определено.

Пример для матриц 3×3:

${\begin{bmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{bmatrix}}\odot {\begin{bmatrix}b_{11}&b_{12}&b_{13}\\b_{21}&b_{22}&b_{23}\\b_{31}&b_{32}&b_{33}\end{bmatrix}}={\begin{bmatrix}a_{11}\,b_{11}&a_{12}\,b_{12}&a_{13}\,b_{13}\\a_{21}\,b_{21}&a_{22}\,b_{22}&a_{23}\,b_{23}\\a_{31}\,b_{31}&a_{32}\,b_{32}&a_{33}\,b_{33}\end{bmatrix}}$.

Является ассоциативной и дистрибутивной операцией и, в отличие от обычного произведения матриц, коммутативно:

$A\odot B=B\odot A$,

$A\odot (B\odot C)=(A\odot B)\odot C$,

$A\odot (B+C)=A\odot B+A\odot C$.

Свойства смешанных произведений с другими вариантами умножения матриц:

$(A\otimes B)\odot (C\otimes D)=(A\odot C)\otimes (B\odot D)$, где $\otimes$ — произведение Кронекера;

$(A\bullet B)\odot (C\bullet D)=(A\odot C)\bullet (B\odot D)$, где $\bullet$ — торцевое произведение;

$(A\bullet B)(C\ast D)=(AC)\odot (BD)$, где $\ast$ — столбцовое произведение Хатри — Рао.

Приложения

Используется в алгоритмах сжатия с потерями, например, JPEG.

В программных пакетах MATLAB и GNU Octave операция используется как стандартная операция умножения массивов и обозначается символом «.*».

Операция произведения над векторными типами данных в GPGPU-технологиях программирования также реализована по принципу произведения Адамара. Другие примитивные математические операции над векторными типами данных реализованы как покомпонентные операции над их компонентами.

Блочная версия

Варианты проникающего торцевого произведения

Проникающее торцевое произведение

Данный тип матричной операции базируется на произведении Адамара и позволяет поэлементно умножать $p\times g$ матрицу $\mathbf {A}$ на произвольное количество блоков той же размерности $p\times g$, образующих блочную матрицу $\mathbf {B}$:

$\mathbf {A} [\circ ]\mathbf {B} =\left[{\begin{array}{c | c | c | c }\mathbf {A} \odot \mathbf {B} _{1}&\mathbf {A} \odot \mathbf {B} _{2}&\ ...\ &\mathbf {A} \odot \mathbf {B} _{n}\end{array}}\right]$.

Например, для

$\mathbf {A} =\left[{\begin{array}{c}1&2&3\\4&5&6\\7&8&9\end{array}}\right],\quad \mathbf {B} =\left[{\begin{array}{c | c | c }\mathbf {B} _{1}&\mathbf {B} _{2}&\mathbf {B} _{3}\end{array}}\right]=\left[{\begin{array}{c c c | c c c | c c c }1&4&7&2&8&14&3&12&21\\8&20&5&10&25&40&12&30&6\\2&8&3&2&4&2&7&3&9\end{array}}\right]$

получим:

$\mathbf {A} [\circ ]\mathbf {B} =\left[{\begin{array}{c c c | c c c | c c c }1&8&21&2&16&42&3&24&63\\32&100&30&40&125&240&48&150&36\\14&64&27&14&32&18&49&24&81\end{array}}\right]$.

Основные свойства:

$\mathbf {A} [\circ ]\mathbf {B} =\mathbf {B} [\circ ]\mathbf {A}$;

$\mathbf {M} \bullet \mathbf {M} =\mathbf {M} [\circ ](\mathbf {M} \otimes \mathbf {1} ^{\textsf {T}})$,

где $\bullet$ - символ торцевого произведения матриц.

$\mathbf {c} \bullet \mathbf {M} =\mathbf {c} [\circ ]\mathbf {M}$, где $\mathbf {c}$ - вектор.

Данный вид матричного умножения был предложен в 1998 г. Слюсарем В.И. для описания откликов цифровой антенной решётки с неидентичными приёмными каналами. Кроме того, это произведение позволяет формализовать процесс функционирования свёрточной нейросети. Например, если рассматривать указанную матрицу $\mathbf {A}$ как массив пикселей изображения на входе нейросетевого алгоритма, то блоки матрицы $\mathbf {B}$ будут соответствовать различным наборам коэффициентов, используемым для формирования свёрточного слоя в нескольких параллельных каналах обработки изображения нейросетью.

Операция проникающего торцевого произведения вектора и матрицы реализована в библиотеке машинного обучения TensorFlow с помощью встроенной функции "tf.multiply".

Литература

• Хорн Р. Матричный анализ: Пер. с англ. / Р. Хорн, Ч. Джонсон. – М.: Мир, 1989.– 655 с.