Метод релевантных векторов

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание[править | править код]

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации[en]:

,

где является ядерной функцией[en] (обычно, гауссианом), являются априорными дисперсиями вектора весов , а являются входными векторами тренировочного набора[en][2].

По сравнению с методами опорных векторов байесовская формулировка МРВ избегает необходимости свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации[en], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США[en] компанией Microsoft[3].

См. также[править | править код]

Примечания[править | править код]

  1. Tipping, 2001, с. 211-244.
  2. Candela, 2004.
  3. Michael E. Tipping, "Relevance vector machine", US 6633857

Литература[править | править код]

Программное обеспечение[править | править код]

Ссылки[править | править код]