Отношение Рэлея

В математике для данной комплексной эрмитовой матрицы $M$ и ненулевого вектора $x$ отношение Рэлея $R(M,x)$ определяется следующим образом:

$R(M,x)={x^{*}Mx \over x^{*}x}.$

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов $x^{*}$ превращается в обычное транспонирование $x'$. Заметьте, что $R(M,cx)=R(M,x)$ для любой вещественной константы $c\neq 0$. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения $\lambda _{\min }$ (наименьшее собственное число матрицы $M$) когда $x$ равен $v_{\min }$ (соответствующий собственный вектор). Подобным образом можно показать, что $R(M,x)\leq \lambda _{\max }$ и $R(M,v_{\max })=\lambda _{\max }$. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чисел. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для итераций с отношением Рэлея.

Множество значений отношения Рэлея называется числовым образом матрицы.

Специальный случай ковариационных матриц

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' A. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во-первых, то, что собственные значения $\lambda _{i}$ не отрицательны:

$Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}$

$\Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}$

$\Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}$

$\Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0.$

И, во-вторых, что собственные вектора $v_{i}$ ортогональны друг другу:

$Mv_{i}=\lambda _{i}v_{i}$

$\Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0$

$\Rightarrow v_{j}'v_{i}=0$ (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор $x$ по базису собственных нормированных векторов v_i:

$x=\sum _{i=1}^{n}\alpha _{i}v_{i}$, где $\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}$ является проекцией x на $v_{i}$

$\forall i,||v_{i}||={\sqrt {(v_{i}'v_{i})}}=1$

Таким образом, равенство

$R(M,x)={\frac {x'A'Ax}{x'x}}$

можно переписать в следующем виде:

$R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}$

Поскольку собственные вектора ортогональны, последнее равенство превращается в

$R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}$

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором $x$ и каждым из собственных векторов $v_{i}$, умноженных на соответствующее собственное значение.

Если вектор $x$ максимизирует $R(M,x)$, то все вектора, полученные из $x$ умножением на скаляр ($kx$ для $k\neq 0$) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума $\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}$ при условии $\sum _{i=1}^{n}\alpha _{i}^{2}=1$.

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при $\alpha _{1}=1$ и $\forall i>1,\alpha _{i}=0$ (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат с использованием множителей Лагранжа

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

$R(M,x)=x^{T}Mx$,

при постоянной величине $\|x\|^{2}=x^{T}x=1.$ То есть, нужно найти критические точки функции

${\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),$

где $\lambda$ — множитель Лагранжа. Для стационарных точек функции ${\mathcal {L}}(x)$ выполняется равенство

${\frac {d{\mathcal {L}}(x)}{dx}}=0$

$\therefore 2x^{T}M^{T}-2\lambda x^{T}=0$

$\therefore Mx=\lambda x$

и $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .$

Таким образом, собственные вектора $x_{1}\ldots x_{n}$ матрицы M являются критическими точками отношения Рэлея и их собственные значения $\lambda _{1}\ldots \lambda _{n}$ — соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции.

Использование в теории Штурма — Лиувилля

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

$L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)$

со скалярным произведением

$\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx$,

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.$

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частям:

${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}$

$={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}$

$={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.$

Обобщение

Для любой пары $(A,B)$ вещественных симметричных положительно определённых матриц и ненулевого вектора $x$, обобщенное отношение Рэлея определяется как

$R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.$

Обобщённое отношение Рэлея можно свести к отношению Рэлея $R(D,Cx)$ путём преобразования $D={C^{*}}^{-1}AC^{-1}$, где $C$ — разложение Холецкого матрицы $B$.

См. также

• Числовой образ матрицы

Литература

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — Москва «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — Москва «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — Москва, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архивировано 31 августа 2006 года.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вып. 9. — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вып. 23.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011.