Оптимальное управление

Оптимальное управление — это задача проектирования системы, обеспечивающей для заданного объекта управления или процесса закон управления или управляющую последовательность воздействий, обеспечивающих максимум или минимум заданной совокупности критериев качества системы .

Для решения задачи оптимального управления строится математическая модель управляемого объекта или процесса, описывающая его поведение с течением времени под влиянием управляющих воздействий и собственного текущего состояния. Математическая модель для задачи оптимального управления включает в себя: формулировку цели управления, выраженную через критерий качества управления; определение дифференциальных или разностных уравнений, описывающих возможные способы движения объекта управления; определение ограничений на используемые ресурсы в виде уравнений или неравенств.

Если управляемый объект или процесс является детерминированным, то для его описания используются дифференциальные уравнения. Наиболее часто используются обыкновенные дифференциальные уравнения вида $\dot{x}(t)=a[x(t),u(t),t]$. В более сложных математических моделях (для систем с распределёнными параметрами) для описания объекта используются дифференциальные уравнения в частных производных. Если управляемый объект является стохастическим, то для его описания используются стохастические дифференциальные уравнения.

Реальное поведение объекта или системы всегда отличается от программного вследствие неточности в начальных условиях, неполной информации о внешних возмущениях, действующих на объект, неточности реализации программного управления и т.д. Поэтому для минимизации отклонения поведения объекта от оптимального обычно используется система автоматического регулирования.

Иногда (например, при управлении сложными объектами, такими как доменная печь в металлургии или при анализе экономической информации) в исходных данных и знаниях об управляемом объекте при постановке задачи оптимального управления содержится неопределённая или нечёткая информация, которая не может быть обработана традиционными количественными методами. В таких случаях можно использовать алгоритмы оптимального управления на основе математической теории нечётких множеств (Нечёткое управление). Используемые понятия и знания преобразуются в нечёткую форму, определяются нечёткие правила вывода принимаемых решений, затем производится обратное преобразование нечётких принятых решений в физические управляющие переменные.

Оптимальное управление детерминированными системами

Системы с обыкновенными параметрами

Наиболее широко при проектировании систем управления детерминированными объектами c обыкновенными параметрами, описываемыми обыкновенными дифференциальными уравнениями, применяются следующие методы: вариационное исчисление, принцип максимума Понтрягина и динамическое программирование Беллмана.

Задача оптимального управления

Сформулируем задачу оптимального управления:

• Уравнения состояния: $\dot{x}(t)=a[x(t),u(t),t]$ (1).
• Граничные условия $x(t_0)=x_{0}^{*}$, $x(t_1)=x_{1}^{*}$ (2).
• Минимизируемый функционал: $\eta=\int_{t_0}^{t_1}F[x(\tau),\dot{x}(\tau),\tau]d\tau,$.

здесь $x(t)$ — вектор состояния $u(t)$ — управление, $t_{0}, t_{1}$ — начальный и конечный моменты времени.

Задача оптимального управления заключается в нахождении функций состояния $x(t)$ и управления $u(t)$ для времени $({t_0}\le{t}\le{t_1})$, которые минимизируют функционал.

Вариационное исчисление

Рассмотрим данную задачу оптимального управления как задачу Лагранжа вариационного исчисления . Для нахождения необходимых условий экстремума применим теорему Эйлера-Лагранжа . Функция Лагранжа $\Lambda$ имеет вид: $\Lambda=\int_{t_0}^{t_1}(F[x(t),\dot{x}(t),t]+\lambda_1^T(t)(\dot{x}(t)-a[x(t),u(t),t]))dt+l$, где $l=\lambda_2^T(x(t_0)-x_{0}^{*})+\lambda_3^T(x(t_1)-x_{1}^{*})$ — граничные условия. Лагранжиан $L$ имеет вид: $L[x(t),\dot{x}(t),u(t),\lambda(t),t]=F[x(t),\dot{x}(t),t]+\lambda_1^T(t)(\dot{x}(t)-a[x(t),u(t),t])$, где $\lambda_1$, $\lambda_2$, $\lambda_3$ — n-мерные вектора множителей Лагранжа.

Необходимые условия экстремума, согласно этой теореме, имеют вид:

• стационарность по u: $\hat{L}_{u}=0$, (3)
• стационарность по x, уравнение Эйлера: $\hat{L}_{x}-\frac{d}{dt}\hat{L}_{c\dot{x}}=0$ (4)
• трансверсальность по x: $\hat{L}_{\dot{x}}(\hat{t}_0)=\hat{l}_{x(t_0)}$, $\hat{L}_{\dot{x}}(\hat{t}_1)=-\hat{l}_{x(t_1)}$ (5)

Необходимые условия (3-5) составляют основу для определения оптимальных траекторий. Написав эти уравнения, получаем двухточечную граничную задачу, где часть граничных условий задана в начальный момент времени, а остальная часть — в конечный момент. Методы решения подобных задач подробно разбираются в книге

Принцип максимума Понтрягина

Необходимость в принципе максимума Понтрягина возникает в случае когда нигде в допустимом диапазоне управляющей переменной невозможно удовлетворить необходимому условию (3), а именно $\hat{L}_{u}=0$.

В этом случае условие (3) заменяется на условие (6):

$\begin{align} \min_{u \in U}L(t,x(t),\dot{x}(t),u)&=L(t,\hat{x}(t),\dot{x}(t),\hat{u}) \Longleftrightarrow\\ &\Longleftrightarrow \min_{ u \in U}\left(F(t,x(t),u)-\lambda(t)a(t,x(t),u)\right)=f(t)-\lambda(t)a(t). \end{align}$ (6)

В этом случае согласно принципу максимума Понтрягина величина оптимального управления равна величине управления на одном из концов допустимого диапазона. Уравнения Понтрягина записываются при помощи функции Гамильтона Н, определяемой соотношением $H = F(t,x(t),u) - \lambda(t)a(t,x(t),u)$. Из уравнений следует, что функция Гамильтона H связана с функцией Лагранжа L следующим образом: $L=H+\lambda(t)\dot{x}(t)$. Подставляя L из последнего уравнения в уравнения (3-5) получаем необходимые условия, выраженные через функцию Гамильтона:

• уравнение управления по u: $\hat{H}_{u}=0$, (7)
• уравнение состояния: $\dot{x}=-\hat{H}_{\lambda}$, (8)
• сопряжённое уравнение: $\dot{\lambda}=\hat{H}_{x}$, (9)
• трансверсальность по x: $\lambda \hat{t}_0 =\hat{l}_{x(t_0)}$, $\lambda \hat{t}_1=-\hat{l}_{x(t_1)}$ (10)

Необходимые условия, записанные в такой форме, называются уравнениями Понтрягина. Более подробно принцип максимума Понтрягина разобран в книге.

Где применяется

Принцип максимума особенно важен в системах управления с максимальным быстродействием и минимальным расходом энергии, где применяются управления релейного типа, принимающие крайние, а не промежуточные значения на допустимом интервале управления.

История

За разработку теории оптимального управления Л.С. Понтрягину и его сотрудникам В.Г. Болтянскому, Р.В. Гамкрелидзе и Е.Ф. Мищенко в 1962 г была присуждена Ленинская премия.

Метод динамического программирования

Метод динамического программирования основан на принципе оптимальности Беллмана, который формулируется следующим образом: оптимальная стратегия управления обладает тем свойством, что каково бы ни было начальное состояние и управление в начале процесса последующие управления должны составлять оптимальную стратегию управления относительно состояния, полученного после начальной стадии процесса. Более подробно метод динамического программирования изложен в книге

Достаточные условия оптимальности

Достаточные условия оптимальности управляемых процессов были предложены В. Ф. Кротовым, на основе которых были построены вычислительные алгоритмы последовательного улучшения, позволяющие находить глобальный оптимум в задачах управления.

Системы с распределенными параметрами

В системах с распределенными параметрами описываемый объект описывается дифференциальными уравнениями в частных производных. Теория оптимального управления в этом случае разработана лишь для отдельных видов этих уравнений: эллиптического, параболического и гиперболического типа. В некоторых простых случаях удается получить аналог принципа максимума Понтрягина.

Задача оптимального управления

• Задана область определения управляемого процесса $0 \le x \le a, 0 \le y \le b$
• Уравнения, описывающие управляемый процесс: $\frac{\partial^{2} Q_{i}}{\partial x \partial y}=f_i(x, y, Q, \frac{\partial Q}{\partial x}, \frac{\partial Q}{\partial y}, u);(1)$ , где $Q$ - $n$ - мерный вектор, описываемый управляемый процесс, $\frac{\partial Q}{\partial x}$ - $n$ - мерный вектор производных вектора $Q$ по координате $x$, $\frac{\partial Q}{\partial y}$ - $n$ - мерный вектор производных вектора $Q$ по координате $y$, $u$ - $r$ - мерный управляющий вектор.
• Граничные условия для управляемого процесса: $Q_{i}(0, y)=\phi_{i}(y); Q_{i}(x, 0)=\psi_{i}(x); i=1,..., n; (2)$
• Задача оптимального управления состоит в том, чтобы найти такое управление $u(x, y)$, при котором допустимое уравнениями $(1), (2)$ решение $Q(x, y)$ приводит к максимуму функционала $J = \sum^{n}_{i=1} c_{i} Q_{i} (a,b)$.

Оптимальное управление стохастическими системами

В этом случае управляемый объект или процесс описывается стохастическими дифференциальными уравнениями. В этом случае решение задачи оптимального управления осуществляется на основе уравнения Риккати.

Задача оптимального управления

• Система описывается стохастическими дифференциальными уравнениями $dx=Axdt+Budt+dv, dy=Cxdt+de$, где $x$ - $n$ - мерный вектор состояния, $u$ - $p$ - мерный вектор управления, $y$ - $v$ - мерный вектор наблюдаемых переменных, $v(t), e(t)$ - независимые винеровские процессы с нулевыми средними значениями и заданными ковариациями приращений, $A, B, C$ - матрицы.
• Необходимо найти оптимальное управление, минимизирующее математическое ожидание функции потерь $x^T(t_1)Q_0x(t_1)+\int_{t_0}^{t_1}[x^T(t)Q_1x(t)+u^TQ_2u(t)]dt]$.

Литература

1. Растригин Л.А. Современные принципы управления сложными объектами. - М.: Сов. радио, 1980. - 232 с., ББК 32.815, тир. 12000 экз.
2. Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. - М.: Наука, 1979, УДК 519.6, - 223 c., тир. 24000 экз.

См. также

• Вариационное исчисление
• Динамическое программирование
• Математическая модель
• Дифференциальное уравнение
• Численные методы
• Оптимизация (математика)
• Оптимальное решение