Псевдообратная матрица

Псевдообра́тная ма́трица — обобщение понятия обратной матрицы в линейной алгебре. Псевдообратная матрица к матрице $A$ обозначается $A^{+}$.

Впервые концепцию псевдообратных интегрирующих операторов в 1903 году представил Фредгольм. Наиболее известно псевдообращение Мура — Пенроуза, которое было независимо описано Элиакимом Муром в 1920 году и Роджером Пенроузом в 1955 году; утверждение о существовании и единственности для любой матрицы над действительными и комплексными числами псевдообратной матрицы носит название теоремы Мура — Пенроуза.

Обобщённое обращение (англ. generalized inverse) — псевдообращение, удовлетворяющее более строгим условиям. Псевдообращение можно понимать как решение задачи наилучшей аппроксимации (по методу наименьших квадратов с предельным вариантом регуляризации) для соответствующей системы линейных уравнений. Псевдообратная матрица может быть вычислена с помощью сингулярного разложения матрицы.

Определение

$A^{+}$ называется псевдообратной матрицей для матрицы $A$, если она удовлетворяет следующим критериям:

1. $AA^{+}A=A$;
2. $A^{+}AA^{+}=A^{+}$ ($A^{+}$ является слабым обращением в мультипликативной полугруппе);
3. $(AA^{+})^{*}=AA^{+}$ (это означает, что $AA^{+}$ — эрмитова матрица);
4. $(A^{+}A)^{*}=A^{+}A$ ($A^{+}A$ — тоже эрмитова матрица).

Здесь $M^{*}$ — эрмитово сопряжённая матрица M (для матриц над полем действительных чисел $M^{*}=M^{T}$).

Существует эквивалентный способ задания псевдообратной матрицы через предел обратных (регуляризация Тихонова):

$A^{+}=\lim _{\delta \to +0}(A^{*}A+\delta I)^{-1}A^{*}=\lim _{\delta \to +0}A^{*}(AA^{*}+\delta I)^{-1}$,

где $I$ — единичная матрица. Этот предел существует, даже если $(AA^{*})^{-1}$ и $(A^{*}A)^{-1}$ не определены.

Свойства

• Псевдообращение инволютивно (то есть эта операция обратна самой себе):

  $(A^{+})^{+}=A$.

• Псевдообращение коммутирует с транспонированием, сопряжением и эрмитовым сопряжением:

  $(A^{T})^{+}=(A^{+})^{T}$,
  $({\overline {A}})^{+}={\overline {A^{+}}}$,
  $(A^{*})^{+}=(A^{+})^{*}$.

• Псевдообратное произведение матрицы $A$ на скаляр $\alpha$ равно соответствующему произведению матрицы $A^{+}$ на обратное число $\alpha ^{-1}$:

  $(\alpha A)^{+}=\alpha ^{-1}A^{+}$, для $\alpha \neq 0$.

• Если псевдообратная матрица для $A^{*}A$ уже известна, она может быть использована для вычисления $A^{+}$:

  $A^{+}=(A^{*}A)^{+}A^{*}$.

• Аналогично, если матрица $(AA^{*})^{+}$ уже известна:

  $A^{+}=A^{*}(AA^{*})^{+}$.

Особые случаи

Если столбцы матрицы $A$ линейно независимы, тогда матрица $A^{*}A$ обратима. В таком случае псевдообратная матрица задаётся формулой:

$A^{+}=(A^{*}A)^{-1}A^{*}$.

Это эквивалентно тому, что в первой части определения через предел убирается слагаемое с $\delta$. Отсюда следует что в этом случае $A^{+}$ — левая обратная матрица для $A$ : $A^{+}A=I$ .

Если строки матрицы $A$ линейно независимы, тогда матрица $AA^{*}$ обратима. В таком случае псевдообратная матрица задаётся формулой:

$A^{+}=A^{*}(AA^{*})^{-1}$.

Это эквивалентно тому, что во второй части определения через предел полагаем $\delta =0$. Отсюда следует, что в этом случае $A^{+}$ — правая обратная матрица для $A$ : $AA^{+}=I$.

Если и столбцы, и строки линейно независимы (что верно для квадратных невырожденных матриц), то псевдообращение совпадает с обращением:

$A^{+}=A^{-1}$.

Если $A$ и $B$ таковы, что произведение $AB$ определено и:

• либо $A^{*}A=I$,
• либо $BB^{*}=I$,
• либо столбцы $A$ линейно независимы и строки $B$ линейно независимы,

тогда

$(AB)^{+}=B^{+}A^{+}$.

Псевдообращение можно применять и к скалярам, и к векторам. Это подразумевает, что они рассматриваются как матрицы соответствующей размерности. Псевдообратный к скаляру $x$ — ноль, если $x$ — ноль, и обратный к $x$ в противном случае:

$x^{+}=\left\{{\begin{matrix}0,&x=0;\\x^{-1},&x\neq 0.\end{matrix}}\right.$

Псевдообратный для нулевого вектора — транспонированый нулевой вектор. Псевдообратный для ненулевого вектора — сопряжённый транспонированный вектор, делённый на квадрат своей длины:

$x^{+}=\left\{{\begin{matrix}0^{T},&x=0;\\{x^{*} \over x^{*}x},&x\neq 0.\end{matrix}}\right.$

Для доказательства достаточно проверить, что эти величины удовлетворяют определению псевдообратных.

Происхождение

Если $(A^{*}A)^{-1}$ существует, то из равенства:

$Ax=b,$

следует

$A^{*}Ax=A^{*}b,$

$(A^{*}A)^{-1}(A^{*}A)x=(A^{*}A)^{-1}A^{*}b,$

$x=(A^{*}A)^{-1}A^{*}b,$

что порождает понятие псевдообращения

$A^{+}=(A^{*}A)^{-1}A^{*}$ .

Вычисление

Пусть $k$ — ранг матрицы $A$ размера $m\times n$. Тогда $A$ может быть представлена как $A=BC$, где B — матрица размера $m\times k$ с линейно независимыми столбцами и $C$ — матрица размера $k\times n$ с линейно независимыми строками. Тогда:

$A^{+}=C^{*}(CC^{*})^{-1}(B^{*}B)^{-1}B^{*}$.

Если $A$ имеет полнострочный ранг, то есть $k=m$, тогда в качестве $B$ может быть выбрана единичная матрица и формула сокращается до $A^{+}=A^{*}(AA^{*})^{-1}$. Аналогично, если $A$ имеет полностолбцовый ранг, то есть, $k=n$, то $A^{+}=(A^{*}A)^{-1}A^{*}$.

Простейший вычислительный путь получения псевдообратной матрицы — использовать сингулярное разложение.

Если $A=U\Sigma V^{*}$ — сингулярное разложение $A$, тогда $A^{+}=V\Sigma ^{+}U^{*}$. Для диагональной матрицы, такой как $\Sigma$, псевдообратная получается из неё заменой каждого ненулевого элемента на диагонали на обратный к нему.

Существуют оптимизированые подходы вычисления псевдообратной для блочных матриц.

Иногда объём расчётов по нахождению псевдообратной матрицы можно сократить, если известна псевдообратная для некоторой аналогичной матрицы. В частности, если аналогичная матрица отличается от начальной на один изменённый, добавленный или удалённый столбец или строку — существуют накопительные алгоритмы, которые могут использовать взаимосвязь между матрицами.

Применение

Псевдообращение тесно связано с методом наименьших квадратов (МНК) для системы линейных уравнений.

В этом методе задача решения данной системы $Ax=b$ заменяется задачей минимизации квадрата евклидовой нормы невязки $\|Ax-b\|^{2}$. На практике МНК обычно используют когда исходная система $Ax=b$ несовместна, однако ниже мы рассмотрим случай когда эта система совместна.

Общее решение неоднородной системы $Ax=b$ представимо как сумма частного решения неоднородной системы и общего решения соответствующей однородной системы $Ax=0$.

Лемма: Если $(AA^{*})^{-1}$ существует, тогда общее решение $x$ всегда представимо как сумма псевдообратного решения неоднородной системы и решения однородной системы:

$x=A^{*}(AA^{*})^{-1}b+(I-A^{*}(AA^{*})^{-1}A)y.$

Доказательство:

$Ax$	$=$	$AA^{*}(AA^{*})^{-1}$	$b$	$+$	$Ay-AA^{*}(AA^{*})^{-1}Ay$
$Ax$	$=$		$b$	$+$	$Ay-Ay$
$Ax$	$=$		$b$	.

Здесь вектор $y$ произвольный (с точностью до размерности). В двух других членах есть псевдообратная матрица $A^{*}(AA^{*})^{-1}$. Переписав её в форме $A^{+}$, приведём выражение к форме:

$x=A^{+}b+(I-A^{+}A)y.$

Первый член — псевдообратное решение. В терминах метода наименьших квадратов — это $x$, дающее минимальную евклидову норму для невязки. Следующий член даёт решение однородной системы $Ax=0$, потому что $A^{+}A=A^{*}(AA^{*})^{-1}A$ — оператор проектирования на образ оператора $A^{*}$ и, соответственно, $(I-A^{+}A)$ — оператор проектирования на ядро оператора $A$.

Литература

1. ↑  Э. Х. Мур (E. H. Moore): On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society 26, 394—395 (1920) http://www.ams.org/bull/1920-26-09/S0002-9904-1920-03322-7/S0002-9904-1920-03322-7.pdf
2. ↑  Роджер Пенроуз: A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society 51, 406—413 (1955)
3. ↑  Роджер Пенроуз: On best approximate solution of linear matrix equations. Proceedings of the Cambridge Philosophical Society 52, 17-19 (1956)
4. ↑  Алберт А.: Регрессия, псевдоинверсия и рекуррентное оценивание. перев. с англ. Москва, «Наука», 224 с.(1977)
5. ↑  Беклемишев Д. В.: Дополнительные главы линейной алгебры. Москва, Наука. (1983)