Главная » 2014 » Июль » 28 » Скачать Оптимальное управление стохастическими квазилинейными системами с информационными ограничениями. Румянцев, Дмитрий Станиславович бесплатно
03:23
Скачать Оптимальное управление стохастическими квазилинейными системами с информационными ограничениями. Румянцев, Дмитрий Станиславович бесплатно
Оптимальное управление стохастическими квазилинейными системами с информационными ограничениями
Диссертация
Автор: Румянцев, Дмитрий Станиславович
Название: Оптимальное управление стохастическими квазилинейными системами с информационными ограничениями
Справка: Румянцев, Дмитрий Станиславович. Оптимальное управление стохастическими квазилинейными системами с информационными ограничениями : диссертация кандидата физико-математических наук : 05.13.01 / Румянцев Дмитрий Станиславович; [Место защиты: Моск. гос. авиац. ин-т] - Москва, 2009 - Количество страниц: 139 с. ил. Москва, 2009 139 c. :
Объем: 139 стр.
Информация: Москва, 2009
Содержание:
Список основных обозначений
1 Оптимизация стохастических систем с информационными ограничениями
11 Постановка задачи оптимального управления стохастическими системами диффузионного типа при наличии информационных ограничений
12 Достаточные условия оптимальности
13 Локальные условия оптимальности первого порядка
14 Техническое описание системы управления
15
Выводы
2 Оптимизация квазилинейных стохастических систем
21 Постановка задачи
22 Условия оптимальности
23 Оптимизация квазилинейных стохастических систем при наличии случайных погрешностей вектора состояния и реализации управления
24 Обобщение на случай стохастических возмущений матриц коэффициентов линейной системы
25
Выводы
3 Численные методы синтеза стратегий оптимального управления стохастическими системами с информационными ограничениями
31 Численные методы поиска
32 Управление скоростью сходимости
33 Теоремы об улучшении критерия
34 Квазилинейные задачи с квадратичным критерием
341 Способы решения уравнения (223)
342 Алгоритмы численных методов оптимизации стратегии управления
35 Примеры
36
Выводы
4 Программное обеспечение д л я расчёта оптимального управления квазилинейными стохастическими системами
41 Общие сведения о программе
42 Диалоговый интерфейс
43
Выводы
5 Примеры задач оптимального управления летательными аппаратами
51 Задача демпфирования колебаний спутника Земли с гравитационной стабилизацией
52 Задача о стабилизации орбиты искусственного спутника ЗемлиНЗ
53
Выводы
Введение:
Диссертационная работа посвящена разработке методов оптимального управления стохастическими системами диффузионного типа в задачах с информационными ограничениями.Актуальность исследований в этом направлении обуславливается необходимостью наиболее точного описания систем автоматического управления, реалистичным вариантом которого является стохастическое описание, учитывающее воздействие на объект управления случайных факторов, в предположении неполноты информации о состоянии.Предложенные в диссертации условия оптимальности для квазилинейных систем вносят существенный вклад в развитие этого направления теории оптимальных процессов, в частности, позволяют решать задачи управления линейными системами с мультипликативными возмущениями управления и со случайными возмущениями в матрицах уравнений системы.Целью диссертационной работы является разработка методов синтеза оптимальных стратегий управления стохастическими квазилинейными системами в случае измерения части компонент вектора состояния при наличии ошибок измерения и ошибок реализации управления.В соответствии с целью исследования были поставлены следующие задачи: 1. получить конструктивные условия оптимальности в задачах синтеза стратегий оптимального управления: - квазилинейными стохастическими системами при измерении части компонент вектора состояния; - линейными стохастическими системами со случайными возмущениями в матрицах системы при измерении части компонент вектора состояния; - квазилинейными стохастическими системами с неточно измеряемым вектором состояния и ошибками реализации управления; 2. разработать численные методы решения задач п.1; 3. создать программное обеспечение для реализации численных методов; 4. провести решение тестовых прикладных задач при различном уровне информированности с применением предложенных теоретических результатов.Для решения поставленных задач использовался метод функций Ляпунова-Лагранжа, наметившийся еще в ранних работах Хрусталёва М.М. при изучении проблемы оптимального управления частично наблюдаемым диффузионным процессом и получивший дальнейшее развитие в его работах по стохастическим дифференциальным играм с неполной информацией [1, 2]. Этот подход состоит в использовании совокупности функций, аналогичных вектор-функциям Ляпунова в теории устойчивости. Но в изучаемом круге проблем эти функции играют двоякую роль. С одной стороны, их применение так же, как функций Ляпунова, подменяет проблему изучения поведения траекторий динамической системы изучением поведения этих функций вдоль траекторий системы. С другой - они являются нелинейными нелокальными аналогами классических множителей Лаграыжа, предназначенными для полного снятия ограничений. В связи с такой двойной ролью эти функции были названы вектор-функциями Ляпунова-Лагранжа [1, 2].Важным результатом применения векторных функций ЛяпуноваЛагранжа является снятие всех нелокальных ограничений, в том числе и информационных, доведение условий оптимальности до совокупности уравнений (или неравенств) для этих функций и семейства конечномерных экстремальных задач, решаемых в фиксированный момент времени локально в каждой точке пространства состояний, аналогично тому, как это делается в условиях принципа максимума Понтрягина Л.С. или динамического программирования для классической задачи оптимального управления.Фундаментом для метода Ляпунова-Лагранжа послужили работы Понтрягина Л.С. [3], Беллмана Р. [4], Кротова В.Ф. [5], Гурмана В.И. [6], в которых встречались те или иные фрагменты метода. Различные аспекты метода исследовались в [7]-[11] и более поздних работах [12]. Близкий методу функций Ляпунова-Лагранжа подход предлагается в [13].Для описания динамической системы составляется ее математическая модель. Одно из основных требований, предъявляемых к модели, -наиболее точно описать функционирующий технический объект, для которого в реальной ситуации зачастую невозможно получать полную информацию о динамике системы, возмущениях, действующих на него и т.д. В результате возникает задача оптимизации с информационными ограничениями. Традиционно уделяется большое внимание методам решения задач оптимизации динамических систем, позволяющим определять непрерывное управление либо как функцию от начальных условий и времени (программное управление) [3], либо как функцию времени и текущих фазовых координат системы (синтез управления) [4].Как уже отмечено, на практике существует обширный класс динамических систем, в которых информация о положении в фазовом пространстве является неполной и ограничена измерительным устройством, которым располагает система. Возможности управления такими системами существенно зависят от той информации, которая может быть получена путем измерения и обработки наблюдений. Поэтому в теории стали развиваться направления, связанные с решением задач оптимизации динамических систем в условиях неопределенности, например: управление пучками траекторий [14]-[27]; управление стохастическими системами [28]-[55]; управление системами с распределёнными параметрами, в том числе, с неполной информацией [5б]-[64]; децентрализованное управление [65]-[72]; управление в антагонистических и коалиционных играх [73]-[78]; управление дискретными системами [6],[79]-[91] и т.д.Проведем обзор известных методов оптимизации систем управления с точки зрения доступности информации об объекте. Вместе с методами управления стохастическими системами диффузионного типа будем также рассматривать методы управления: детерминированными системами, так как в определённой мере они являются частными случаями стохастических систем; системами с распределёнными параметрами, поскольку часто управление стохастическими системами сводится к детерминированной задаче управления решением уравнений в частных производных.При наличии неопределенности в динамической системе есть три пути решения задачи синтеза стратегии управления.В первом случае отыскивается управление, являющееся функцией наблюдаемых переменных. В этом случае находится структура стратегии управления, которая непосредственно зависит от наблюдаемого сигнала.Второй путь связан с нахождением оптимального закона управления, который использует оценку состояния динамической системы. Эта оценка делается на основе имеющейся информации путём дополнительного построения фильтров (идентификаторов состояния). Именно она используется при построении управления в работах [93]-[105].Третий путь является комбинаций первого и второго. В этом случае решается задача совместного отыскания оптимальной стратегии управления и оптимального фильтра, задающего оценку состояния динамической системы.В данной работе принята постановка задачи, соответствующая первому пути.Пусть для некоторой математической модели динамической системы с состоянием х Е Rn, управлением и Е Д т , временем t Е R1 требуется синтезировать стратегию управления и = w(?, ж), удовлетворящую цели управления. При этом известно, что наблюдается лишь часть компонент вектора ж.Для задач стохастического оптимального управления традиционным является поиск минимума математического ожидания функционала [15]. Однако, иногда рассматриваются и другие критерии [106, 107, 108]. Проблеме существования управления с неполной обратной связью посвящены работы [31]-[36]. Различные методы управления стохастическими системами с неполным вектором наблюдения описаны в работах [37]-[46]. Следует выделить работы У. Флеминга [45] и В.В. Семёнова [46], в которых получены необходимые условия оптимальности для стохастических систем с неполной обратной связью общего вида.Характерным в этих подходах является то, что исходная стохастическая задача сводится к детерминированной задаче управления решениями уравнения в частных производных. Эти работы нашли свое развитие в статьях А.В. Пантелеева, А.С. Бортаковского, Е.А. Руденко [17], [18], [50]-[54], [84]-[87], в которых сформулировано несколько вариантов достаточных условий оптимальности.Вопросам оптимального управления системами с распределёнными параметрами при неполном измерении состояния посвящены работы из обзора [59].Этот же вариант информированности имеет сходство с задачами построения фильтров в смысле их постановок. Поэтому приведём здесь ещё несколько замечаний, связанных с теорией фильтрации, основу которой, несомненно, заложили Калман и Бьюси [92]. Здесь можно выделить два направления. В подходе Р.Л. Стратоновича [93] основные проблемы, возникающие из стремления повысить точность оценивания, связаны с наличием большой размерности строящихся фильтров. В [94] B.C. Пугачёв обходит эти трудности путем фиксации структуры искомого фильтра и сосредоточения усилий на поиске ее неизвестных параметров. В работе [95] развивается этот путь в направлении поиска структуры фильтров.Большое развитие получили методы оптимального управления несколькими взаимосвязанными динамическими системами с децентрализованным управлением. Структура управления таким комплексом систем строится на основе нескольких локальных управляющих устройств , причем каждый локальный регулятор uK(t,xK) управляет только локальным входом и контролирует только локальный выход жк, к, — 1, а. Тем не менее, все эти устройства участвуют в управлении всей системой в целом [65] с вектором состояния х. С точки зрения информированности ситуация состоит в следующем. Для всего комплекса систем весь вектор состояния измеряется полностью, однако стратегия управления должна быть построена в децентрализованном виде, т.е. весь вектор управления и составляется из локальных стратегий uK(t, жк), где хк - локальный вектор состояния к-ой подсистемы, к = 1,а.В этой области имеется большое количество работ. Для анализа структуры системы применяется метод декомпозиции [65, 66]. Качественный анализ синтезированного управления проводится с использованием векторных функций Ляпунова [67, 72]. Поскольку оптимального управления получить не удается, многие останавливаются на поиске субоптимального управления [65]. Поэтому метод возмущений [68], так же как и его обобщение метод агрегирования [69], оказываются полезными в задачах синтеза децентрализованного управления динамическими системами, которые можно агрегировать более простыми структурами. Стоит отметить, что существует очень мало работ по децентрализованному управлению дискретными системами с неполной информацией [71].Для дискретных систем управления с полной информацией разработаны многочисленные методы управления [79, 80]. Однако, имеется направление в теории оптимального управления, которое трактует этот вариант управления как синтез кусочно - постоянного управления при полных измерениях вектора состояния непрерывной модели системы в дискретные моменты времени [6]. С точки зрения информированности об объекте это означает, что информация о динамике системы доступна лишь в дискретные моменты времени, а во все оставшиеся моменты информация о системе отсутствует. Кроме того, управление в промежуточные между интервалами измерения время не может быть скорректировано и должно оставаться постоянным на каждом таком подынтервале.Исследований, посвященных дискретным системам управления с неполной информацией, довольно мало. В качестве примеров работ в этом направлении можно привести [84]-[87], в которых предлагаются достаточные условия оптимальности частично дискретно наблюдаемых диффузионных процессов. Развитие направления, соответствующего этому варианту, проводится в работе [88], в которой стратегия управления базируется на основе дискретных наблюдений в различные моменты времени.Важной задачей в теории управления стохастическими системами является задача получения численных методов синтеза оптимального управления. Этим вопросам посвящены работы [37]-[39]. Основной принцип, заложенный в этих методах, заключается в том, что, если имеется некоторая стратегия управления, то метод должен позволять найти такую стратегию, которая будет лучше относительно заданного функционала. Во всех случаях исследователи предлагают рассматривают дискретную аппроксимацию непрерывных систем, в связи с чем возникает эффект неустойчивости итерационных методов [40], а также вопрос об асимптотической сходимости методов последовательных приближений [41].Другим эффективным методом синтеза является спектральный [42], основанный на алгебраической форме связей между характеристиками системы, позволяющий получать количественные характеристики по матрично-операторным формулам. Для этого направления создано алгоритмическое и программное обеспечение [43], получены достаточные условия оптимальности для систем со случайной структурой при неполной информации [44].В диссертационной работе помимо общих условий оптимальности в задачах управления стохастическими квазилинейными системами с неполной обратной связью по состоянию представлены условия оптимальности в задачах синтеза стратегий оптимального управления линейными стохастическими системами с неизмеряемыми возмущениями в матрицах системы и информационными ограничениями, а также квазилинейными стохастическими системами при неточном измерении состояния и реализации управления в условиях информационных ограничений.Отметим результаты, достигнутые другими авторами в этом направлении.Существует группа работ, посвященных управлению системами со структурной неопределенностью, в которых удается либо синтезировать оптимальное управление [109] с использованием методов теории оптимального управления системами с распределёнными параметрами, либо исследовать робастность таких систем [110, 111]. В [112, 113] исследован вариант, когда случайным образом изменяется не структура динамической системы, а лишь отдельные её параметры.Для более детального обоснования на содержательном уровне научной новизны получаемых условий оптимальности приведем исследуемую в главе 1 постановку задачи управления частично наблюдаемым диффузионным процессом. При этом во введении для простоты изложения не всегда будем оговаривать теоретико-функциональные требования к встречающимся функциям. Эти требования будут строго даны в основном тексте диссертации.Процесс управления описывается системой уравнений Ито [28] dxi(t) = fi{t, x(t),u(t, x(t)))dt + gu(t, x(t), u(t, x(t)))dwi(t), x(tQ) — xQ.В диссертации рассматриваются задачи оптимизации динамических систем с информационными ограничениями, состоящими в том, что каждая компонента стратегии щ{Ь, ж), г = 1, m управления может зависеть от своего априори назначаемого набора компонент вектора состояния, в общем случае своего для каждой компоненты.Сформируем набор функций ua(t, ж), а = l , n i , п\ < п. Каждая из функций ua(t, ж) представляет собой совокупность всех компонент управления u(t,x) — (ui(t,ж), ,um(t,x))T, не зависящих от компоненты жа вектора состояния ж ? Rn (подробнее см. § 1.4).В [1, 2] получены условия оптимальности для случая, когда вероятностная мера, задающая распределение вектора состояния процесса, может не иметь плотность. Здесь рассматривается случай, когда эта мера имеет плотность 0.Ненулевые элементы матрицы Н — АН* находятся из системы уравнений Л< Е+1-(в + еТ) - 1 ВТМ + -R + S- (АН^К'1 = 0.Здесь Л - линейный оператор структуры управления [2], который определён на множестве матриц размеров га X п и принимает значения на том же множестве. Оператор Л переводит матрицу N с элементами b^j в матрицу Ы с элементами Ь -^ = Н -^, если компонента щ стратегии управления не должна зависеть от компоненты Xj , и N -^ = 0 в противном случае.Для синтеза оптимального управления с помощью этой теоремы необходимо решить краевую задачу для системы обыкновенных дифференциальных уравнений типа Риккати.Полученные в диссертации условия оптимальности позволяют решать задачи оптимального управления линейными стохастическими системами со случайными возмущениями в матрицах системы и квазилинейными стохастическими системами с неточно измеряемым вектором состояния и ошибками реализации управления.Достоверность научных утверждений и выводов, представленных в диссертационной работе, подтверждена строгими математическими доказательствами, численными экспериментами, сравнением полученных результатов с уже существующими.Апробация работы и публикации. Существенные результаты диссертации получены в рамках программы "Развитие научного потенциала высшей школы" Министерства Образования РФ (per. N 4549, 2005 г.), а также поддержаны грантом РФФИ (N 06-08-00398).Основные результаты опубликованы в журнале "Известия РАН. Теория и системы управления" [126, 127], а также в [128, 129], обсуждались на между народных конференциях [130]-[134] и научных семинарах Московского авиационного института в 2007 г.Личный вклад автора. В [126], [130] разработаны достаточные условия оптимальности для квазилинейных стохастических систем при информационных ограничениях. В [127] созданы численные методы для решения рассмотренных в [126], [130] задач. В [133] проведено обобщение для задач синтеза оптимальных стратегий управления в случае, когда динамическая система управляется неточно и при реализации состояния системы имеются случайные ошибки измерения, также сделано обобщение для задач синтеза оптимальных стратегий управления линейными системами, имеющих в матрицах неизмеряемые возмущения. Показано, что для таких задач могут быть использованы предложенные условия оптимальности. В [127] разработаны численные методы. А в [129], [131], [132], [134] выполнены численные расчёты и синтезировано оптимальное управление для прикладных задач.Диссертация состоит из введения, пяти глав, заключения и библиографического списка из 134 наименований. Работа изложена на 139 страницах машинописного текста, содержит 14 рисунков и 6 таблиц.Во введении даётся обзор известных методов оптимального управления динамическими системами с точки зрения доступности информации об объекте, обосновывается научная новизна проведенных исследований и актуальность получения новых результатов, сформулирована цель и задачи диссертационной работы, перечислены полученные в диссертации новые результаты, их практическая ценность, представлены положения, выносимые на защиту и описана структура диссертации.В первой главе приводится математическая формализация ограничений информационного типа для замкнутых динамических систем. Для представления непрерывных ограничений на процесс управления - наблюдения в виде дифференциальных связей используются результаты работы [10]. Сформулированы условия оптимальности для стохастических динамических систем диффузионного типа при наличии информационных ограничений. Для удобства изложения представлены результаты работ Хрусталёва М.М. [1, 2], в которых получены условия равновесия по Нэшу в стохастических дифференциальных играх при неполной информированности о состоянии. В случае одного игрока задача преобразуется в задачу оптимального управления.Во второй главе исследуется задача оптимального управления стохастической квазилинейной системой с квадратичным критерием качества при неполной информации. Сформулированы новые условия оптимальности. Проблема синтеза стратегии управления сводится к решению краевой задачи для системы обыкновенных дифференциальных уравнений типа Риккати.В третьей главе предлагается несколько схем численных методов поиска стратегий оптимального управления диффузионным стохастическим процессом при наличии информационных ограничений. В случае, когда уравнения управляемой системы линейны или квазилинейны, а критерий качества квадратичен, неформальные элементы методов поиска приобретают форму регулярных вычислительных процедур.Четвертая глава содержит описание программного комплекса, который на основе одной из разработанных численных схем решает задачу оптимального управления стохастической квазилинейной системой управления с квадратичным критерием качества.В пятой главе рассматриваются примеры управления различными техническими объектами, для решения которых используются полученные условия оптимальности. Анализируются случаи различной информированности о состоянии. Продемонстрирована применимость на практике полученных результатов.Практическая значимость диссертационной работы состоит в концептуальном подходе, позволяющем использовать полученные условия оптимальности для управления сложными техническими объектами. Представленные условия оптимальности позволяют, в частности, решать следующие задачи оптимального управления квазилинейными системами в условиях неполноты информации: - синтезировать оптимальное управление, в котором каждая из компонент управления зависит от своего, назначаемого заранее набора компонент вектора состояния. В работах У. Флеминга [45], В.В. Семёнова [46], А.В. Пантелеева [50] все компоненты вектора управления зависят от одного и того же набора компонент вектора состояния; - указанная в предыдущем пункте особенность позволяет решать задачи оптимального управления многокомпонентными системами с децентрализованным управлением. В отличие от работ Д. Шильяка [65], в которых для таких задач строится лишь управление, обеспечивающее устойчивость, предлагаемые методы позволяют синтезировать оптимальное управление; - решать задачи оптимального управления при наличии мультипликативных возмущений и ошибок реализации управления; - при синтезе оптимального управления учитывать шумы в матрице управляемой системы и ошибки измерений переменных состояния; - оценивать проигрыш по критерию в результате отказа от измерения части компонент вектора состояния; - решать задачи оптимального управления системами, в которых управление осуществляется не с помощью компьютера, а за счёт реакции конструкции системы на изменение переменных состояния. Классический пример такой системы - регулятор Уатта.Отметим, что в упомянутых работах У. Флеминга, В.В. Семёнова, А.В. Пантелеева, Д. Шильяка конструктивные условия оптимальности получены лишь для линейных систем. Квазилинейные системы с неполной информацией о состоянии ранее не были исследованы.В качестве области практического использования результатов диссертационной работы можно указать пико- и наноспутники, на которые зачастую невозможно установить дорогостоящие высокоточные системы измерения всего вектора состояния и реализации управления, при этом функционирование системы производится в условиях случайных возмущений и недостаточной информации о состоянии.Полученные в диссертации результаты могут быть использованы в профильных организациях при разработке и эксплуатации систем управления летательными аппаратами. При этом многие результаты имеют более широкую область применения. Теоретические результаты внедрены в учебный процесс на факультете Прикладной математики МАИ и преподаются студентам старших курсов кафедры Математической кибернетики.Научные результаты, выносимые на защиту: 1. условия оптимальности, алгоритмы и методы в задачах управления стохастическими квазилинейными динамическими системами при измерении части компонент вектора состояния; 2. условия оптимальности, алгоритмы и методы в задачах управления квазилинейными стохастическими динамическими системами с информационными ограничениями при случайных погрешностях измерения вектора состояния и управления; 3. условия оптимальности, алгоритмы и методы в задачах управления линейными динамическими системами с учётом случайных возмущений матрицы системы при измерении части компонент вектора состояния; 4. принципы построения численных методов синтеза стратегий оптимального управления диффузионными процессами при неполной информации о состоянии; 5. численные методы синтеза оптимальных стратегий управления для линейных и квазилинейных задач оптимального управления с информационными ограничениями.
