Симплекс-метод

Не путать с «симплекс-методом» — методом оптимизации произвольной функции. См. Метод Нелдера — Мида

Симплекс-метод — алгоритм решения оптимизационной задачи линейного программирования путём перебора вершин выпуклого многогранника в многомерном пространстве.

Сущность метода: построение базисных решений, на которых монотонно убывает линейный функционал, до ситуации, когда выполняются необходимые условия локальной оптимальности.

В работе Л. В. Канторовича «Математические методы организации и планирования производства» (1939) были впервые изложены принципы новой отрасли математики, которая позднее получила название линейного программирования.

Исторически общая задача линейного программирования была впервые поставлена в 1947 году Джорджем Бернардом Данцигом, Маршаллом Вудом и их сотрудниками в департаменте военно-воздушных сил США. В то время эта группа занималась исследованием возможности использования математических и смежных с ними методов для военных задач и проблем планирования. В дальнейшем для развития этих идей в ВВС была организована исследовательская группа под названием Project SCOOP. Первое успешное решение задачи линейного программирования на ЭВМ SEAC было проведено в январе 1952 года.

Описание

Переход от одной вершины к другой

Задача линейного программирования состоит в том, что необходимо максимизировать или минимизировать некоторый линейный функционал на многомерном пространстве при заданных линейных ограничениях.

Заметим, что каждое из линейных неравенств на переменные ограничивает полупространство в соответствующем линейном пространстве. В результате все неравенства ограничивают некоторый выпуклый многогранник (возможно, бесконечный), называемый также полиэдральным комплексом. Уравнение W(x) = c, где W(x) — максимизируемый (или минимизируемый) линейный функционал, порождает гиперплоскость L(c). Зависимость от c порождает семейство параллельных гиперплоскостей. Тогда экстремальная задача приобретает следующую формулировку — требуется найти такое наибольшее c, что гиперплоскость L(c) пересекает многогранник хотя бы в одной точке. Заметим, что пересечение оптимальной гиперплоскости и многогранника будет содержать хотя бы одну вершину, причём их будет более одной, если пересечение содержит ребро или k-мерную грань. Поэтому максимум функционала можно искать в вершинах многогранника. Принцип симплекс-метода состоит в том, что выбирается одна из вершин многогранника, после чего начинается движение по его рёбрам от вершины к вершине в сторону увеличения значения функционала. Когда переход по ребру из текущей вершины в другую вершину с более высоким значением функционала невозможен, считается, что оптимальное значение c найдено.

Последовательность вычислений симплекс-методом можно разделить на две основные фазы:

1. нахождение исходной вершины множества допустимых решений,
2. последовательный переход от одной вершины к другой, ведущий к оптимизации значения целевой функции.

При этом в некоторых случаях исходное решение очевидно или его определение не требует сложных вычислений, например, когда все ограничения представлены неравенствами вида «меньше или равно» (тогда нулевой вектор совершенно точно является допустимым решением, хотя и, скорее всего, далеко не самым оптимальным). В таких задачах первую фазу симплекс-метода можно вообще не проводить. Симплекс-метод, соответственно, делится на однофазный и двухфазный.

Алгоритм симплекс-метода

Усиленная постановка задачи

Рассмотрим следующую задачу линейного программирования:

$c^{T}x\to \max ,Ax\leqslant b,x\geqslant 0,b\geqslant 0.$

Теперь поставим эту задачу в эквивалентной усиленной форме. Необходимо максимизировать Z, где:

${\begin{bmatrix}1&-c^{T}&0\\0&A&E\end{bmatrix}}{\begin{bmatrix}Z\\x\\x_{s}\end{bmatrix}}={\begin{bmatrix}0\\b\end{bmatrix}},x,x_{s}\geqslant 0$

Здесь x — переменные из исходного линейного функционала, x_s — новые переменные, дополняющие старые таким образом, что неравенство переходит в равенство, c — коэффициенты исходного линейного функционала, Z — переменная, которую необходимо максимизировать. Полупространства $x\geqslant 0$ и $x_{s}\geqslant 0$ в пересечении образуют многогранник, представляющий множество допустимых решений. Разница между числом переменных и уравнений даёт нам число степеней свободы. Проще говоря, если мы рассматриваем вершину многогранника, то это число рёбер, по которым мы можем продолжать движение. Тогда мы можем присвоить этому числу переменных значение 0 и назвать их «небазисными». Остальные переменные при этом будут вычисляться однозначно и называться «базисными». Сам же набор этих переменных называется базисом. Полученная точка будет вершиной в пересечении соответствующих небазисным переменным гиперплоскостей. Для того, чтобы найти т. н. начальное допустимое решение (вершину, из которой мы начнём движение), присвоим всем изначальным переменным x значение 0 и будем их считать небазисными, а все новые будем считать базисными. При этом начальное допустимое решение вычисляется однозначно : $\mathbf {x} _{si}=\mathbf {b} _{i}$.

Алгоритм

Теперь приведём шаги алгоритма. На каждом шаге мы будем менять множества базисных и небазисных векторов (двигаться по рёбрам), и матрица будет иметь следующий вид:

${\begin{bmatrix}1&c_{B}^{T}B^{-1}A-c^{T}&c_{B}^{T}B^{-1}\\0&B^{-1}A&B^{-1}\end{bmatrix}}{\begin{bmatrix}Z\\x\\x_{s}\end{bmatrix}}={\begin{bmatrix}c_{B}^{T}B^{-1}b\\B^{-1}b\end{bmatrix}},$

где $c_{B}$ — коэффициенты вектора $c$, соответствующие базисным переменным (переменным $x_{s}$ соответствуют 0), $B$ — столбцы $[\mathbf {A} \mathbf {E} ]$, соответствующие базисным переменным. Матрицу, образованную оставшимися столбцами обозначим $D$. Почему матрица будет иметь такой вид поясним в описании шагов алгоритма.

Первый шаг.

Выбираем начальное допустимое значение, как указано выше. На первом шаге $B$ — единичная матрица, так как базисными переменными являются $x_{s}$. $c_{B}$ — нулевой вектор по тем же причинам.

Второй шаг

Покажем, что в выражении $(c_{B}^{T}B^{-1}A-c^{T})x+(c_{B}^{T}B^{-1})x_{s}$ только небазисные переменные имеют ненулевой коэффициент. Заметим, что из выражения $Ax+x_{s}=b$ базисные переменные однозначно выражаются через небазисные, так как число базисных переменных равно числу уравнений. Пусть $x'$ — базисные, а $x''$ — небазисные переменные на данной итерации. Уравнение $Ax+x_{s}=b$ можно переписать, как $Bx'+Dx''=b$. Умножим его на $B^{-1}$ слева: $x'+B^{-1}Dx''=B^{-1}b$. Таким образом мы выразили базисные переменные через небазисные, и в выражении $B^{-1}Ax+B^{-1}x_{s}$, эквивалентному левой части равенства, все базисные переменные имеют единичные коэффициенты. Поэтому, если прибавить к равенству $Z-c^{T}x=0$ равенство $c_{B}^{T}B^{-1}Ax+c_{B}^{T}B^{-1}x_{s}$, то в полученном равенстве все базисные переменные будут иметь нулевой коэффициент — все базисные переменные вида x сократятся, а базисные переменные вида x_s не войдут в выражение $c_{B}^{T}B^{-1}x_{s}$.

Выберем ребро, по которому мы будем перемещаться. Поскольку мы хотим максимизировать Z, то необходимо выбрать переменную, которая будет более всех уменьшать выражение

$(c_{B}^{T}B^{-1}A-c^{T})x+(c_{B}^{T}B^{-1})x_{s}$.

Для этого выберем переменную, которая имеет наибольший по модулю отрицательный коэффициент. Если таких переменных нет, то есть все коэффициенты этого выражения неотрицательны, то мы пришли в искомую вершину и нашли оптимальное решение. В противном случае начнём увеличивать эту небазисную переменную, то есть перемещаться по соответствующему ей ребру. Эту переменную назовём входящей.

Третий шаг

Теперь необходимо понять, какая базисная переменная первой обратится в ноль по мере увеличения входящей переменной. Для этого достаточно рассмотреть систему:

${\begin{bmatrix}B^{-1}A&B^{-1}\end{bmatrix}}{\begin{bmatrix}x\\x_{s}\end{bmatrix}}=B^{-1}b$

При фиксированных значениях небазисных переменных система однозначно разрешима относительно базисных, поэтому мы можем определить, какая из базисных переменных первой достигнет нуля при увеличении входящей. Эту переменную назовем выходящей. Это будет означать, что мы натолкнулись на новую вершину. Теперь входящую и выходящую переменную поменяем местами — входящая «войдёт» в базисную, а выходящая из них «выйдет» в небазисные. Теперь перепишем матрицу B и вектор c_B в соответствии с новыми наборами базисных и небазисных переменных, после чего вернёмся ко второму шагу. x''

Поскольку число вершин конечно, то алгоритм однажды закончится. Найденная вершина будет являться оптимальным решением.

Двухфазный симплекс-метод

Причины использования

Если в условии задачи линейного программирования не все ограничения представлены неравенствами типа «≤», то далеко не всегда нулевой вектор будет допустимым решением. Однако каждая итерация симплекс-метода является переходом от одной вершины к другой, и если неизвестно ни одной вершины, алгоритм вообще не может быть начат.

Процесс нахождения исходной вершины не сильно отличается от однофазного симплекс-метода, однако может в итоге оказаться сложнее, чем дальнейшая оптимизация.

Модификация ограничений

Все ограничения задачи модифицируются согласно следующим правилам:

• ограничения типа «≤» переводятся на равенства созданием дополнительной переменной с коэффициентом «+1». Эта модификация проводится и в однофазном симплекс-методе, дополнительные переменные в дальнейшем используются как исходный базис.
• ограничения типа «≥» дополняются одной переменной с коэффициентом «−1». Поскольку такая переменная из-за отрицательного коэффициента не может быть использована в исходном базисе, необходимо создать ещё одну, вспомогательную, переменную. Вспомогательные переменные всегда создаются с коэффициентом «+1».
• ограничения типа «=» дополняются одной вспомогательной переменной.

Соответственно, будет создано некоторое количество дополнительных и вспомогательных переменных. В исходный базис выбираются дополнительные переменные с коэффициентом «+1» и все вспомогательные. Осторожно: решение, которому соответствует этот базис, не является допустимым.

Различия между дополнительными и вспомогательными переменными

Несмотря на то, что и дополнительные, и вспомогательные переменные создаются искусственно и используются для создания исходного базиса, их значения в решении сильно отличаются:

• дополнительные переменные сообщают, насколько соответствующее им ограничение «недоиспользовано». Значение дополнительной переменной, равное нулю, соответствует равенству значений правых и левых частей ограничения.
• вспомогательные переменные сообщают, насколько данное условие далеко от допустимого (относительно конкретного ограничения).

Если значение вспомогательной переменной больше нуля, то данное решение не выполняет определённое ограничение, а значит не является допустимым.

То есть ненулевое значение дополнительной переменной может (но не должно) сигнализировать о неоптимальности решения. Ненулевое значение вспомогательной переменной сигнализирует о недопустимости решения.

Фазы решения

После того, как было модифицировано условие, создаётся вспомогательная целевая функция. Если вспомогательные переменные были обозначены, как $y_{i}$, $i\in \left\{1,\dots ,k\right\}$, то вспомогательную функцию определим, как

$z'=\sum _{i=1}^{k}y_{i}\to min$.

После этого проводится обыкновенный симплекс-метод относительно вспомогательной целевой функции. Поскольку все вспомогательные переменные увеличивают значение $z'$, в ходе алгоритма они будут поочерёдно выводиться из базиса, при этом после каждого перехода новое решение будет всё ближе к множеству допустимых решений.

Когда будет найдено оптимальное значение вспомогательной целевой функции, могут возникнуть две ситуации:

• оптимальное значение $z'$ больше нуля. Это значит, что как минимум одна из вспомогательных переменных осталась в базисе. В таком случае можно сделать вывод, что допустимых решений данной задачи линейного программирования не существует.
• оптимальное значение $z'$ равно нулю. Это означает, что все вспомогательные переменные были выведены из базиса, и текущее решение является допустимым.

Во втором случае мы имеем допустимый базис, или, иначе говоря, исходное допустимое решение. Можно проводить дальнейшую оптимизацию с учётом исходной целевой функции, при этом уже не обращая внимания на вспомогательные переменные. Это и является второй фазой решения.

Модифицированный симплекс-метод

В модифицированном методе матрица

${\begin{bmatrix}1&c_{B}^{T}B^{-1}A-c^{T}&c_{B}^{T}B^{-1}\\0&B^{-1}A&B^{-1}\end{bmatrix}}$

не пересчитывается, хранится и пересчитывается только матрица $B^{-1}$. В остальном алгоритм похож на вышеописанный.

1. Вычисляем двойственные переменные $d=c_{B}^{T}B^{-1}$

2. Проверка оптимальности. $c_{B}^{T}B^{-1}A-c^{T}$ преобразуется в $d^{T}A-c^{T}$.

Проверка заключается в вычислении $d^{T}A_{n}-c_{n}$ для всех столбцов $n\in N$. Столбец со значением < 0 можно вводить в базис.

Часто выбирают минимальное значение, но для этого нужно перебрать все столбцы.

Чаще выбирают значение, меньшее некоторого заданного значения $-\varepsilon$

Если такого столбца не обнаружится, за $\varepsilon$ принимается максимальное найденное абсолютное значение и соответствующий столбец $A_{J}$ вводится в базис.

3. Определение выводимого.

Пусть $A_{J}$ — вводимый столбец, соответствующий переменной $x_{J}$ Базисный план — это решение системы $A_{B}p=b$ Увеличиваем $A_{B}p+\vartheta A_{J}=b$.

Умножим слева на $B^{-1}$, то есть $B^{-1}A_{B}p+\vartheta B^{-1}A_{J}=B^{-1}b$.

Здесь $B^{-1}b$ — базисный план, $q=B^{-1}A_{J}$ — разложение вводимого столбца по базису.

Находим максимальное значение $\vartheta$, при котором все значения не отрицательны. Если $\vartheta$ может быть взято как угодно велико, решение не ограничено. В противном случае один из элементов выйдет на нулевое значение. Выводим соответствующий столбец из базиса.

4. Пересчет опорного(базисного) плана.

Вычисляем новый опорный план по уже приведенной формуле $x=p+\vartheta B^{-1}A_{J}$ с найденным значением $\vartheta$.

5. Пересчитываем обратную к базисной $B^{-1}$.

Пусть $B^{-1}A_{F}$ — выводимый столбец.

Матрица B представима в виде $[B_{G}A_{F}]$

где $B_{G}$ — базисная матрица без выводимого столбца.

После замены столбца базисная матрица будет иметь вид $[B_{G}A_{J}]$

Нам нужно найти матрицу $B_{1}$, такую что

$[B_{G},A_{J}]B_{1}^{-1}=E$ => $[B^{-1}B_{G}B_{1}^{-1},B^{-1}A_{J}]=B^{-1}$ => $[B^{-1}B_{G},q]B_{1}^{-1}=B^{-1}$ =>

${\begin{bmatrix}E&q'\\0&q_{f}\end{bmatrix}}B_{1}^{-1}=B^{-1}$

Откуда $B_{1}^{-1}={\begin{bmatrix}E&-q'/q_{f}\\0&1/q_{f}\end{bmatrix}}B^{-1}$

Замечание.

При пересчете матрицы $B^{-1}$ накапливаются ошибки округления. Во избежание получения больших ошибок время от времени матрица пересчитывается полностью. Этот процесс называется «повторением».

Мультипликативный вариант симплекс-метода

В мультипликативном варианте матрица $B^{-1}$ не хранится, хранятся лишь множители ${\begin{bmatrix}E&-q'/q_{f}\\0&1/q_{f}\end{bmatrix}}$

При решении экономических задач часто матрица ограничений разреженная, в таком случае мультипликативный вариант получает дополнительные преимущества — можно хранить мультипликаторы в сжатом виде (не хранить нули).

Другие варианты симплекс-метода

Во избежание накопления ошибок округления может использоваться LU-разложение матрицы.

При подавляющем числе ограничений типа «неравенство» может быть использован метод переменного базиса.

Метод основан на том, что базисная матрица может быть представлена в виде

${\begin{bmatrix}A_{B}&0\\A_{E}&E\end{bmatrix}}$

Обратная к ней имеет вид

${\begin{bmatrix}A_{B}^{-1}&0\\-A_{B}^{-1}A_{E}&E\end{bmatrix}}$

При относительно небольших размерах матрицы $A_{B}^{-1}$ остальная часть матрицы может не храниться.

Таким подходом удается решить задачи с десятками миллионов строк ограничений (например, из теории игр).

Двойственный симплекс-метод

Для реализации двойственного метода необходимо перейти от задачи на минимум к задаче на максимум (или наоборот) путём транспонирования матрицы коэффициентов. При переходе от задачи на минимум целевая функция примет вид:

$g=\sum _{i=1}^{n}b_{i}y_{i}\to max$

при ограничениях

$\sum _{i=1}^{n}a_{ij}y_{i}\leq c_{j}$.

Теорема двойственности. Если из пары двойственных задач одна обладает оптимальным планом, то и другая имеет решение, причем экстремальные значения линейных функций этих задач равны.

Если линейная функция одной из задач не ограничена, то другая не имеет решения.

Вычислительная эффективность

Симплекс-метод удивительно эффективен на практике, но в 1972 Кли и Минти привели пример, в котором симплекс-метод перебирал все вершины симплекса, что показывает экспоненциальную сходимость метода в худшем случае. С тех пор для каждого варианта метода был найден пример, на котором метод вёл себя исключительно плохо.

Наблюдения и анализ эффективности метода в практических приложениях привело к развитию других способов измерения эффективности.

Симплекс-метод имеет среднюю полиномиальную сходимость при широком выборе распределения значений в случайных матрицах.

Вычислительная эффективность оценивается обычно при помощи двух параметров:

• числа итераций, необходимого для получения решения;
• затрат машинного времени.

В результате численных экспериментов получены следующие результаты.

1. Число итераций при решении задач линейного программирования в стандартной форме с $m$ ограничениями и $n$ переменными заключено между $m$ и $3m$. Среднее число итераций $2m$. Верхняя граница числа итераций равна $2m+n$.
2. Требуемое машинное время пропорционально $m^{3}$.

Число ограничений больше влияет на вычислительную эффективность, чем число переменных, поэтому при формулировке задач линейного программирования нужно стремиться к уменьшению числа ограничений пусть даже путём роста числа переменных.

Методы повышения эффективности

Одной из наиболее трудоёмких процедур в симплекс-методе является поиск вводимого в базис столбца. Для лучшей сходимости, казалось бы, нужно выбирать переменную с наилучшей невязкой, но для этого нужен полный просмотр, то есть нужно умножить столбец двойственных переменных (которые иногда называются теневыми ценами) на все столбцы матрицы. Такой подход хорошо работает для небольших задач, которые решаются вручную. Более того, строгое соблюдение правила выбора максимальной по модулю невязки может оказаться неоптимальным с точки зрения общего количества итераций, необходимых для получения экстремума. Максимальный выигрыш на одной итерации может привести к медленному убыванию значения целевой функции на последующих шагах и, следовательно, замедлить процесс решения задачи.

При больших матрицах ограничений процедура поиска вводимой переменной начинает отнимать много времени и часто делаются попытки избежать просмотра всех столбцов матрицы, для чего могут применяться такие методы:

Барьер. Как только невязка переменной будет достаточно сильно отличаться от нуля (превосходит некоторой величины, называемой барьером), переменную вводят в базис. Если все невязки оказались меньше барьера, в качестве вводимой выбирается переменная с наименьшей невязкой, сам же барьер уменьшается по некоторому правилу (например, половина наименьшей невязки). Барьер часто используется со следующим приёмом. Близкий подход описан в книге Муртафа, см. раздел 3.6.2. Частичное оценивание книги.

Циклический просмотр. Поиск вводимой переменной начинается с позиции, следующей за введённой на предыдущей итерации переменной.

Групповой отбор (В книге Муртафа этот приём называется многократным оцениванием. См. раздел 3.6.3. Многократное оценивание.) При поиске вводимой переменной отбирается не одна переменная, а несколько кандидатов. На следующих итерациях просмотр осуществляется только среди отобранных кандидатов, при этом кандидат может из списка вычёркиваться.

Назначение весов. Переменным назначаются веса. См. раздел 3.6.4 Метод оценивания в системе DEVEX Муртафа.

Поиск наиболее крутого ребра Гольдфарба и Рида. См. раздел 3.6.5 Метод оценивания с поиском наиболее крутого ребра в книге Муртафа.

Возможны и другие приёмы, такие как правило Заде.

Литература

• Хемди А. Таха. Глава 3. Симплекс-метод // Введение в исследование операций = Operations Research: An Introduction. — 7-е изд. — М.: «Вильямс», 2007. — С. 95—141. — ISBN 0-13-032374-8.
• Акулич И.Л. Глава 1. Задачи линейного программирования // Математическое программирование в примерах и задачах. — М.: Высшая школа, 1986. — 319 с. — ISBN 5-06-002663-9.
• Томас Х. Кормен и др. Глава 29. Линейное программирование // Алгоритмы: построение и анализ = INTRODUCTION TO ALGORITHMS. — 2-е изд. — М.: «Вильямс», 2006. — С. 1296. — ISBN 5-8459-0857-4.
• В. Н. Шевченко, Н. Ю. Золотых. Линейное и целочисленное линейное программирование. — Нижний Новгород: Издательство Нижегородского госуниверситета им. Н.И. Лобачевского, 2004. — С. 63—66 (раздел 2.8. Замечания о сложности решения ЗЛП). — ISBN 5-85746-761-6.
• Шамрай Наталья Борисовна. Практическое линейное программирование для экономистов. — Владивосток: Изд-во дальневосточного университета, 2009. — С. 44. — ISBN 978-5-7444-2215-8. Архивная копия от 17 марта 2018 на Wayback Machine
• Муртаф Б. Современное линейное программирование. — Москва: «Мир», 1984.

Ссылки

• Краткое описание симплекс-метода на сайте Института дистанционного обучения ИНТУИТ
• Простой онлайн симплекс-решатель с графическим отображением