Метод обратного преобразования

Ме́тод обра́тного преобразова́ния.

Ме́тод обра́тного преобразова́ния (Преобразование Н. В. Смирнова) — способ генерации случайных величин с заданной функцией распределения, путём модификации работы генератора равномерно распределённых чисел.

Описание алгоритма

Пусть $F(x)$ является функцией произвольного распределения. Покажем как, имея генератор выборки из стандартного непрерывного равномерного распределения, получить выборку из распределения, задаваемого функцией распределения $F(x)$.

Строго возрастающая функция распределения

Если функция $F:\mathbb {R} \to [0,1]$ строго возрастает на всей области определения, то она биективна, а следовательно имеет обратную функцию $F^{-1}:[0,1]\to \mathbb {R}$.

• Пусть $U_{1},\ldots ,U_{n}\sim U[0,1]$ — выборка из стандартного непрерывного равномерного распределения.
• Тогда $X_{1},\ldots ,X_{n}$, где $X_{i}=F^{-1}(U_{i}),\;i=1,\ldots ,n$, — выборка из интересующего нас распределения.

Пример

Пусть требуется сгенерировать выборку из экспоненциального распределения с параметром $\lambda >0$. Функция этого распределения $F(x)=1-e^{-\lambda x}$ строго возрастает, и её обратная функция имеет вид $F^{-1}(x)=-{\frac {1}{\lambda }}\,\ln(1-x)$. Таким образом, если $U_{1},\ldots ,U_{n}$ — выборка из стандартного непрерывного равномерного распределения, то $X_{1},\ldots ,X_{n}$, где

$X_{i}=-{\frac {1}{\lambda }}\ln(1-U_{i}),\;i=1,\ldots ,n$

— искомая выборка из экспоненциального распределения.

Неубывающая функция распределения

Если функция $F:\mathbb {R} \to [0,1]$ лишь не убывает, то её обратная функция может не существовать. В таком случае необходимо модифицировать приведённый выше алгоритм.

• Пусть $U_{1},\ldots ,U_{n}\sim U[0,1]$ — выборка из стандартного непрерывного равномерного распределения.
• Тогда $X_{1},\ldots ,X_{n}$, где $X_{i}=\inf\{x\mid F(x)=U_{i}\}=\min\{x\mid F(x)=U_{i}\},\;i=1,\ldots ,n$, — выборка из интересующего нас распределения. Равенство точной нижней грани минимуму выполняется ввиду непрерывности функции распределения справа, что означает, что точная нижняя грань достигается.

Замечания

• Если $F(x)$ строго возрастает, то $F^{-1}(u)=\inf\{x\mid F(x)=u\}$. Таким образом, модифицированный алгоритм для произвольной функции распределения включает в себя отдельно разобранный случай строго возрастающей функции распределения.
• Несмотря на кажущуюся универсальность, данный алгоритм имеет серьёзные практические ограничения. Даже если функция распределения строго возрастает, вычислить её обратную не всегда просто, особенно если она не задана в виде элементарной функции, как, например, в случае нормального распределения. В случае функции распределения общего вида чаще всего необходимо численно находить точную нижнюю грань, что может быть очень трудоёмко.

Математическое обоснование

Математическое обоснование.

Пусть $U\sim U[0,1]$, то есть $F_{U}(u)=u,\;u\in [0,1]$. Рассмотрим функцию распределения случайной величины $X=\inf\{x\mid F(x)=U\}$.

$\mathbb {P} (X\leq x)=\mathbb {P} (\inf\{x'\mid F(x')=U\}\leq x)=\mathbb {P} (U\leq F(x))=F_{U}(F(x))=F(x)$.

То есть $X$ имеет функцию распределения $F(x)$.

См. также

• Преобразование Бокса — Мюллера
• Алгоритм Зиккурат

Литература

Вадзинский Р.Н. Справочник по вероятностным распределениям. - СПб.: Наука, 2001, 295 с.