Обсуждение:Регрессионный анализ

Условие минимума функции невязки

В целом статья отличается от большинства математических в лучшую сторону в плане понимаемости людьми без учёных степеней. Однако мне остаётся непонятным, откуда берётся "Условие минимума функции невязки" (в частности система N+1 урfвнений), было бы здорово, если бы кто-то смог прояснить этот момент. 91.103.66.204 10:41, 31 марта 2014 (UTC)

Ну там указано "происхождение" данного условия, хотя и в очень урезанном виде.

Во-первых, нужно заметить, что здесь присутствует, конечно, ошибка в обозначении. Линия регрессии ищется в виде линейной функции M[Y|X1=x1,X2=x2,...,XN=xN]=b0+b1x1+b2x2+...+bNxN - это следует непосредственно из определения: регрессия называется линейной, если указанное условное ожидание (собственно, регрессия) линейно зависит от переменных x1,...,xN, которые, конечно, не являются случайными. А вот величины Y,X1,...,XN являются случайными. Поэтому уравнение регрессии будем искать в виде y(x1,x2,...,xN)=b0+b1x1+b2x2+...+bNxN.

Небольшое замечание: величины X1,...,XN называются независимыми случайными переменными, потому что они являются независимыми случайными величинами. Они не зависят прежде всего друг от друга. Величины x1,...,xN являются неслучайными независимыми переменными. Они тоже не зависят друг от друга, но как степени свободы (т.е. если мы установили x1 в какое-то значение, то все остальные "ручки" переменных можно крутить как угодно, свободно и не зависимо от того, какое значение приняла величина x1. Но не совсем свободно: x1 можно устанавливать только в те "позиции", которые может принимать величина X1.) Тут нужно отметить, что дискретная случайная величина X1 может принимать значения, которые тоже обозначаются маленькими буквами: x11, x12, x13 и т.д. Можно спутать с переменной x1. Вообще, я ни разу не встречал препода, который четко бы понимал все эти понятия и мог их объяснить. Вот и получается, что слепой ведет слепых... Лучше уж объяснять регрессию только с одной переменной - так меньше шанс запутаться.

Во-вторых, в уравнении y=b0+b1x1+b2x2+...+bNxN не известны коэффициенты b0, b1,...,bN - их и нужно найти из опыта. Как видно, неизвестных N+1 штука, поэтому и уравнений получается столько же. Сейчас станет ясно.

В-третьих, первый индекс указывает номер независимой случайной переменной, второй индекс - номер внутри выборки длиной M. Пусть выборка состоит из M независимых испытаний. Тогда в первом испытании случайная величина Y приняла значение (y1)*, величина X1 приняла значение x11, величина X2 приняла значение x21,..., величина XN приняла значение xN1. Во втором испытании величина Y приняла значение (y2)*, величина X1 приняла значение x12, величина X2 приняла значение x22,..., величина XN приняла значение xN2. И так далее. Обозначим yk=b0+b1x1k+b2x2k+...+bNxNk.

функция невязки - это сумма (y1-(y1)*)^2+(y2-(y2)*)^2+...+(yN-(yN)*)^2, которая зависит от переменных b0, b1,...,bN, т.е. является функцией от них. Как-то можно доказать, что экстремум этой функции обязательно является ее минимумом. Это значит, что переменные b0,...,bN ищутся как координаты этого экстремума. Чтобы найти эти координаты, нужно взять ЧАСТНУЮ производную от функции невязки по каждой переменной и приравнять к нулю. Отсюда и получится система из N+1-го уравнения, решая которую, можно получить значения b0,...,bN.

В качестве примера возьмем производную по b2 и приравняем к нулю. Получится

((y1-(y1)*)^2+(y2-(y2)*)^2+...+(yN-(yN)*)^2)'=2(y1-(y1)*)x12+2(y2-(y2)*)x22+...+2(yN-(yN)*)xN2=0.

Упрощая, получим:

(y1-(y1)*)x12+(y2-(y2)*)x22+...+(yN-(yN)*)xN2=0;

Раскрываем скобки и разносим по разным частям уравнения:

x12(y1)*+x22(y2)*+...+xN2(yN)*=y1x12+y2x22+...+yNxN2;

расшифровываем yk для всех k:

x12(y1)*+x22(y2)*+...+xN2(yN)*=(b0+b1x11+b2x21+...+bNxN1)x12+(b0+b1x12+b2x22+...+bNxN2)x22+...+yNxN2;

Вот и получилось третье уравнение в системе уравнений.

Если производная берется по b0, уравнение имеет слегка другой вид. Поэтому в статье в условии минимума функции невязки всего два уравнения: первое получилось при дифференцировании по b0, второе - по bk, где k изменяется от 1 до N.

PS Статья написана, конечно, просто безобразно: непонятно, где случайные величины, где переменные, где оценки - где, вообще, что. В одном месте появляется вектор-столбец X, который тоже можно спутать с случайной величиной - неплохо бы сказать, что это вектор-столбец. (И конечно это, очевидно, не УРАВНЕНИЕ регрессии, а СИСТЕМА уравнений, из которой, по-видимому, находятся оценки коэффициентов регрессии.) Индексы зачем-то перепутаны сначала независимые случайные величины X1,...,XN нумеруются индексом i и тут же рядом индексом k - зачем так сложно? Производные берутся частные - обозначается круглой d, а не простой d.

PPS Если независимых случайных величин X несколько, то ЛИНИЯ регрессии здесь уже никак не получится. Если есть только X1 и X2, получится поверхность, а именно, плоскость. Для X1,X2,X3 получается функция, определенная на объемной области. Можно изобразить эту область, но не саму функцию.Clothclub 13:32, 2 июня 2016 (UTC)

Касательно заголовка

"Регрессио́нный анализ — статистический метод исследования влияния одной или нескольких независимых переменных X 1 , X 2 , . . . , X p {\displaystyle X_{1},X_{2},...,X_{p}} X_{1},X_{2},...,X_{p} на зависимую переменную Y {\displaystyle Y} Y. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Ложная корреляция), а не причинно-следственные отношения. " Эту мерзость не читайте, это софизм. По сути в место этого следует написать что терминология тут отражает не математическую зависимость а кореляцию. Понятие "Ложная кореляция" ущербное, ибо значит оно ложную зависимость. А кореляция просто существует, ее можно измерить (как раз зависимость иногда довести невозможно). И 2е корелируемые величины могут не зависеть друг от друга ( это можно довести в случае возможности изменения одной из таких величин В ЦЕЛЯХ проверки такой предположительной зависимости ). Иногда то что называют "ложной кореляцией " есть реальная зависимость, но, к примеру, очень сложная и/или непонятная. 193.106.146.182 17:54, 5 января 2019 (UTC)Олег

• Убрал слово "ложная", тем более в статье Корреляция уже нет раздела "Ложная корреляция"). — Алексей Копылов 23:34, 5 января 2019 (UTC)

S^2_воспроизв как его перевсети в иностранный чтобы все поняли?

На http://www.manyfactors.ru/%D0%94%D0%B5%D0%B3%D1%82%D1%8F%D1%80%D0%B5%D0%B2%20%D0%94.%D0%90.%D0%9F%D0%BE%D1%88%D0%B0%D0%B3%D0%BE%D0%B2%D0%B0%D1%8F%20%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%B8%D0%BA%D0%B0%20%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%9C%D0%A4%D0%AD%20-%20%D1%81%D1%82%D0%B0%D1%82%D1%8C%D1%8F.pdf приводится некоторый S^2_воспроизв как его перевсети в иностранный чтобы все поняли? S^2_regresıon?— Ayratayrat (обс.) 13:11, 29 июля 2021 (UTC)