«Управляемый случайный процесс»

случайный процесс, вероятностные характеристики которого можно изменять с помощью управляющих воздействий. Основная цель теории У. с. п. – отыскание оптимальных (или близких к ним) управлений, доставляющих экстремум заданному критерию качества. В простейшем случае управляемых марковских цепей одна из математических постановок задачи нахождения оптимального управления формулируется следующим образом. Пусть X^d=(x_n,P_x^d), n =0, 1,..., – семейство однородных марковских цепей с конечным числом состояний Е ={0, 1, ..., N} и матрицами переходных вероятностей P_xy (d)= P_x^d{x₁= у}, зависящих от параметра d, принадлежащего некоторому множеству управляющих воздействий D.Набор функций a = {а₀ (x₀), a₁ (x₀, x₁),...}со значениями в D называют стратегией, а каждую из функций a_n = а_п (х₀,..., х_п) – управлением в момент времени n. Каждой стратегии a отвечает управляемая марковская цепь X^a = (х_п,P_x^ɑ), n =0, 1,..., где

P_x^ɑ(x₀, x₁..., х_п)=δ(х₀, х) Рх₀х₁(a₀ (x₀))... Px_n-1x_n (a_n-1(x₀, x₁,..., x_n-1))

Пусть:

где функция f(d, х)≥0 и f(d,0)=0 (если точка {0} является поглощающим состоянием и f(d, x)=I, d∈ D, x =1,..., N,то V^a (x) есть матем. ожидание времени попадания из точки х в точку 0). Функцию

называется ценой, а стратегию а* – оптимальной, если V(x) для всех х∈ Е.

При довольно общих предположениях о множестве D устанавливается, что цена V(x) удовлетворяет следующему уравнению оптимальности (уравнению Беллмана):

,

где

.

В классе всех стратегий наибольший интерес представляют т. н. однородные марковские стратегии, характеризуемые одной функцией а(х) такой, что a_n (x₀,..., x_n) = a(x_n) при всех n =0, 1,...

Следовательно, критерий оптимальности (или достаточное условие оптимальности) может быть использован для проверки того, что данная однородная марковская стратегия является оптимальной: пусть существуют функции a* = а*(х) и V* = V*(x) такие, что для любого d∈ D

0= f(x, a*(x))+ L^a*V*≤ f(x, d)+ L^dV*(x)

(L^d= T^d– I, I –единичный оператор), тогда V* является ценой (V* = V) и стратегия α* = α*(х) является оптимальной.

Лит.: Ховард Р.-А., Динамическое программирование и марковские процессы, пер. с англ., М. 1964.

А. Н. Ширяев.

случайный процесс, вероятностные характеристики к-рого могут изменяться по ходу наблюдений в зависимости от поставленной цели, заключающейся в минимизации (максимизации) того или иного функционала, определяющего качество управления. Различают разные виды управляемых процессов как по способу их задания и описания, так и но типу целей управления. Наиболее продвинута теория управляемых скачкообразных марковских процессов и управляемых диффузионных процессов, в случае наблюдений по полным данным. Развивается также соответствующая теория в случае наблюдений по неполным данным (частично наблюдаемые процессы).

Управляемый скачкообразный марковский процесс (у. <с. <м. <п.) - управляемый случайный процесс с непрерывным временем и кусочно постоянными траекториями, в к-ром выбор управления влияет на инфините-зимальные характеристики процесса. Обычно (см. [1], [2]), для построения у. <с. <м. <п. задают: 1) борелевское множество Есостояний; 2) борелевское множество Ауправлений и множества (х)управлений, допустимых в состоянии х, причем есть -алгебра борелевских подмножеств борелевского множества М), и возможен измеримый выбор 3) плотность q( а, t, х, Г) вероятности скачка из x в Г в момент tпри управлении являющуюся борелевской функцией (a, t,x )при любом Г и счетноаддитивнои функцией Г при любых а, t и х, причем функция qограничена, при