Пробит-регрессия

Про́бит-регре́ссия (модель) (англ. Probit model) — вид нелинейной регрессии, в которой зависимая переменная является бинарной (может принимать два значения), основанная на использовании нормального распределения (в отличие от аналогичной логит-регрессии, основанной на логистическом распределении).

Начало использованию функции нормального распределения для описания зависимости «доза — эффект» следует отнести, по-видимому, к работе английского математика J. W. Trevan который показал, что интенсивность клеточного ответа на данную дозу лекарственного вещества подчиняется распределению Гаусса.
Честер Блисс (Chester Ittner Bliss (1899—1979)) предложил метод облегчающий вычисления. В его статье, посвящённой количественному анализу смертельного действия ядов на примере действия никотина на щавелевую тлю (Aphis rumicis L.), впервые и используется термин «probit» как производное от probability unit. Начиная с этой работы, метод пробит анализа особенно популярен в токсикологии, хотя используется и в других областях. Смысл оригинального термина, а также его последующих модификаций утратил актуальность с развитием вычислительной техники. Сегодня «пробит» по смыслу равен квантили нормального распределения, однако живое словоупотребление ограничивается, пожалуй, словосочетаниями «пробит регрессия» и «пробит анализ».

Математическая модель

Пусть переменная Y является бинарной, то есть может принимать только два значения, которые для упрощения положим равными 1 и 0. Например, Y может означать наличие/отсутствие каких либо условий, успех или провал чего-либо, ответ да/нет в опросе и т.д. Пусть также имеется вектор регрессоров X, которые оказывают влияние на Y. Регрессионная модель имеет дело с условным по факторам математическим ожиданием зависимой переменной, которая в данном случае равна вероятности того, что зависимая переменная равна 1:

$E(Y\mid X)=1\cdot P(Y=1\mid X)+0\cdot P(Y=0\mid X)=P(Y=1\mid X),$

В пробит модели предполагается, что последняя вероятность определяется нормальным распределением, таким образом пробит-модель имеет вид:

$P(Y=1\mid X)=\Phi (X'\beta )$

где $\Phi$ - интегральная функция распределения (CDF) стандартного нормального распределения. $\beta$ - неизвестные параметры, которые требуется оценить.

Основанием для использования такой модели является предположение о наличии некоторой скрытой (не наблюдаемой) переменной Y*, в зависимости от значений которой наблюдаемая переменная Y принимает значение 0 или единица:

$Y={\begin{cases}1,Y^{*}>0\\0,Y^{*}<0\end{cases}}$

Предполагается, что скрытая переменная зависит от факторов $X$ в смысле обычной линейной регрессии $Y^{*}=X\beta +\varepsilon$, где случайная ошибка имеет стандартное нормальное распределение. Тогда

$P(Y=1)=P(Y^{*}>0)=P(X'\beta +\varepsilon >0)=P(\varepsilon >-X'\beta )=P(\varepsilon <X'\beta )=\Phi (X'\beta )$

Оценка параметров

Оценка производится методом максимального правдоподобия. Пусть имеется выборка объема n факторов X и зависимой переменной Y. Логарифмическая функция правдоподобия имеет вид:

$l(b)=\sum _{t=1}^{n}(y_{t}\ln \Phi (x_{t}^{T}b)+(1-y_{t})\ln(1-\Phi (x_{t}^{T}b))$

Максимизация данной функции по неизвестным параметрам позволяет получить состоятельные, асимптотически эффективные и асимптотически нормальные оценки параметров:

${\sqrt {n}}({\hat {b}}-b)\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),$

где $\Omega ^{-1}$ - асимптотическая ковариационная матрица оценок параметров, $\Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X'\beta )}{\Phi (X'\beta )(1-\Phi (X'\beta ))}}XX'{\bigg ]}$, φ - функция плотности (PDF) стандартного нормального распределения. Ковариационная матрица оценивается путем подстановки полученных оценок параметров вместо истинных значений и вместо математического ожидания - выборочного среднего.

Обычно оценка модели производится в специализированных (статистических, эконометрических) программных продуктах, например, EViews, Matrixer и др., хотя возможна "ручная" оценка, например Excel, используя Поиск решения.

Показатели качества модели

Псевдо-$R^{2}$:

$PseudoR^{2}=1-{\frac {1}{1+2(l_{1}-l_{0})/n}}$

$R^{2}$ МакФаддена (иднекс отношения правдоподобия -LRI):

$LRI=1-l_{1}/l_{0}$

Оба показателя меняются в пределах от 0 до 1.

Примеры применения

Рассмотрим пробит-модель на примере действия инсектицида на насекомых . Предполагается, что при данной дозе инсектицида поражается определённая доля p всей совокупности насекомых; в выборке n насекомых реакция на инсектицид одних насекомых не зависит от реакции других. Таким образом, можно считать, что число поражённых насекомых является случайной переменной и подчинено биномиальному закону с параметрами (n, p).

Файл:Пробит регрессия.jpg

Кривая пробит регрессии с 95%-ми интервалами для x₅₀ и x₁₆

В качестве фактора модели выступает «измеритель» дозы $x=\lg(d)$, где d-доза инсектицида. Вероятность того, что случайно отобранное из совокупности насекомое погибнет за данное время, равна:

$p(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)=\Phi (\alpha +\beta x)$,

где $\mu ,\sigma$ — параметры нормального распределения, $\alpha =-\mu /\sigma$ и $\beta =1/\sigma$.

Если теперь функция вероятности p(x) гибели одного насекомого при данной дозе яда x известна и равна:

$p(x)=\Phi (a+bx)$,

где a и b — выборочные оценки параметров α и β, то уровень дозы x_p, при котором погибает некоторый процент насекомых, находится из уравнения

$a+bx_{p}=\Phi ^{-1}(p)=q_{p}$,

где q_p — квантиль уровня p стандартного нормального распределения, откуда x_p=(q_p−a)/b. В частности, оценкой максимального правдоподобия для уровня дозы x₅₀, при которой погибает 50 % насекомых, будет x₅₀=−a/b. Это логарифм дозы; фактическая доза равна: u₅₀=10^−a/b. Эту величину в токсикологии принято обозначать ЛД₅₀.

Очевидно, что не стоит ограничиваться точечными оценками — достаточно точными 95%-ми доверительными интервалами для x_p будет x_p±2(var(x_p))^1/2;

$\mathrm {var} (x_{p})={\frac {1}{b^{2}}}\nu _{a}-{\frac {2(a-q_{p})}{b^{3}}}\nu _{a,b}+{\frac {(a-q_{p})^{2}}{b^{4}}}\nu _{b}$,

где ν_a, ν_b выборочные дисперсии a и b соответственно, ν_a, b — выборочная ковариация. Альтернативная, хотя и несколько более сложная (но и более точная) процедура определения точности оценки x_p основана на теореме Феллера, в соответствии с которой 95%-е доверительные границы для x_p являются корнями λ₁, λ₂ квадратного уравнения

$\lambda ^{2}(b^{2}-t^{2}\nu _{b})+2\lambda (bc-t^{2}\nu _{a,b})+(c^{2}-t^{2}\nu _{a})=0$,

где c=(a−q_p), t=t₉₅ — 95%-я точка распределения Стьюдента. На рисунке горизонтальными усами показаны 95%-е доверительные интервалы для x₅₀ и x₁₆.

См. также

Логистическая регрессия