Отношение Рэлея

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В математике для данной комплексной эрмитовой матрицы M и ненулевого вектора x отношение Рэлея[1] R(M, x) определяется следующим образом:[2][3]

R(M,x) = {x^{*} M x \over x^{*} x}.

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов x^{*} превращается в обычное транспонирование x'. Заметьте, что R(M, c x) = R(M,x) для любой вещественной константы c \neq 0 . Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения \lambda_\min (наименьшее собственное число матрицы M) когда x равен v_\min (соответствующий собственный вектор). Подобным образом можно показать, что R(M, x) \leq \lambda_\max и R(M, v_\max) = \lambda_\max. Отношение Рэлея используется в теореме о минимаксе для получения всех значений собственных чисел[4]. Используется оно и в алгоритмах нахождения собственных значений матрицы[en] для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для итераций с отношением Рэлея[en][5][6].

Множество значений отношения Рэлея называется числовым образом матрицы[en][7][8].

Специальный случай ковариационных матриц[править | править исходный текст]

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' A[9][10]. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во первых то, что собственные значения \lambda_i не отрицательны:

M v_i = A' A v_i = \lambda_i v_i
\Rightarrow v_i' A' A v_i = v_i' \lambda_i v_i
\Rightarrow \left\| A v_i \right\|^2 = \lambda_i \left\| v_i \right\|^2
\Rightarrow \lambda_i = \frac{\left\| A v_i \right\|^2}{\left\| v_i \right\|^2} \geq 0.

И, во вторых, что собственные вектора v_i ортогональны друг другу:

M v_i = \lambda _i v_i
\Rightarrow v_j' M v_i = \lambda _i v_j' v_i
\Rightarrow (M v_j )' v_i = \lambda _i v_j' v_i
\Rightarrow \lambda_j v_j ' v_i = \lambda _i v_j' v_i
\Rightarrow (\lambda_j - \lambda_i) v_j ' v_i = 0
\Rightarrow v_j ' v_i = 0 (если собственные значения различны – в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор x по базису собственных векторов vi:

x = \sum _{i=1} ^n \alpha _i v_i, где  \alpha_i = \frac{x'v_i}{v_i'v_i} = \frac{\langle x,v_i\rangle}{\left\| v_i \right\| ^2} является проекцией x на v_i

Таким образом, равенство

R(M,x) = \frac{x' A' A x}{x' x}

можно переписать в следующем виде:

R(M,x) = \frac{(\sum _{j=1} ^n \alpha _j v_j)' A' A (\sum _{i=1} ^n \alpha _i v_i)}{(\sum _{j=1} ^n \alpha _j v_j)' (\sum _{i=1} ^n \alpha _i v_i)}

Поскольку собственные вектора ортогональны, последнее равенство превращается в

R(M,x) = \frac{\sum _{i=1} ^n \alpha _i ^2 \lambda _i}{\sum _{i=1} ^n \alpha _i ^2} = \sum_{i=1}^n \lambda_i \frac{(x'v_i)^2}{ (x'x)( v_i' v_i)}

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором x и каждым из собственных векторов v_i, умноженных на соответствующее собственное значение.

Если вектор x максимизирует R(M,x), то все вектора, полученные из x умножением на скаляр (k x для k \ne 0) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума \sum _{i=1} ^n \alpha _i ^2 \lambda _i при условии \sum _{i=1} ^n \alpha _i ^2 = 1.

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при \alpha _1 = 1 и \forall i > 1, \alpha _i = 0 (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат с использованием множителей Лагранжа[править | править исходный текст]

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

R(M,x) = x^T M x ,

при постоянной величине \|x\|^2 = x^Tx = 1. То есть, нужно найти критические точки функции

\mathcal{L}(x) = x^T M x  -\lambda (x^Tx - 1),

где \lambda – множитель Лагранжа. Для стационарных точек функции \mathcal{L}(x) выполняется равенство

\frac{d\mathcal{L}(x)}{dx} = 0
\therefore 2x^T M^T  - 2\lambda x^T = 0
\therefore M x = \lambda x

и  R(M,x) = \frac{x^T M x}{x^T x} = \lambda \frac{x^Tx}{x^T x} = \lambda.

Таким образом, собственные вектора x_1 \ldots x_n матрицы M являются критическими точками отношения Рэлея и их собственные значения \lambda_1 \ldots \lambda_n – соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции[en].

Использование в теории Штурма–Лиувиля[править | править исходный текст]

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

L(y) = \frac{1}{w(x)}\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y\right)

со скалярным произведением

\langle{y_1,y_2}\rangle = \int_a^b w(x)y_1(x)y_2(x) \, dx,

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

\frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y(x)\right)}dx}{\int_a^b{w(x)y(x)^2}dx}.

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частям:[11]

\frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)y'(x)\right]\right)}dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx}
= \frac{-y(x)\left[p(x)y'(x)\right]|_a^b + \int_a^b{y'(x)\left[p(x)y'(x)\right]} \, dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx}
= \frac{-p(x)y(x)y'(x)|_a^b + \int_a^b\left[p(x)y'(x)^2 + q(x)y(x)^2\right] \, dx}{\int_a^b{w(x)y(x)^2} \, dx}.

Обобщение[править | править исходный текст]

Для любой пары (A, B) вещественных симметричных положительно определённых матриц и ненулевого вектора x, обобщенное отношение Рэлея определяется как

R(A,B; x) := \frac{x^T A x}{x^T B x}.

Обобщённое отношение Рэлея можно свести к отношению Рэлея R(D, Cx) путём преобразования D = {C^*}^{-1} A C^{-1}, где Cразложение Холецкого матрицы B.

Смотрите также[править | править исходный текст]

Ссылки[править | править исходный текст]

  1. также известно под именем отношение Рэлея-Рица, названного в честь Вальтера Рица и Лорда Рэлея.
  2. Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
  3. Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics,1998
  4. Беккенбах, 1965
  5. Парлетт, 1983
  6. Вербицкий, 2000
  7. Геворгян
  8. Прасолов, 2008
  9. Коршунов, 2008
  10. ACTA, 2005
  11. Haberman, 1987

Литература[править | править исходный текст]

  • Б. Парлетт Симметричная проблема собственных значений Численные методы. — 1983.
  • Э. Беккенббах, Р. Беллман Неравенства. — Москва «Мир», 1965.
  • Richard Haberman Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
  • В. М. Вербицкий Численные методы (Линейная алгебра и нелинейные уравнения). — Москва «Высшая школа», 2000.
  • В. В. Прасолов Задачи и теоремы линейной алгебры. — Москва, 2008.
  • Геворгян Л. З Некоторые геометрические характеристики числового образа оператора // ИССЛЕДОВАНО В РОССИИ Электронный журнал. — Государственный Инженерный Университет Армении. — С. 574.
  • Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław EIGENVALUE DENSITY OF EMPIRICAL COVARIANCE MATRIX FOR CORRELATED SAMPLES // ACTA PHYSICA POLONICA B. — 2005. — В. 9. — Т. 36. — С. 2642.
  • Ю.М. Коршунов ПОЛУЧЕНИЕ МНОГОМЕРНОЙ СТАТИСТИЧЕСКОЙ ВЫБОРКИ С ЗАДАННЫМИ КОРРЕЛЯЦИОННЫМИ СВОЙСТВАМИ // Вестник РГРТУ. — 2008. — В. 23.

Дальнейшее чтение[править | править исходный текст]