«Марковский процесс»

важный специальный вид случайных процессов (См. Случайный процесс), имеющих большое значение в приложениях теории вероятностей к различным разделам естествознания и техники. Примером М. п. может служить распад радиоактивного вещества. Известно, что вероятность распада данного атома за малый промежуток времени dt равна αdt, где α — постоянная, характеризующая интенсивность распада данного радиоактивного вещества; эта вероятность не зависит от судьбы всех других атомов и от возраста данного атома. Пусть N обозначает число атомов радиоактивного вещества в некоторый начальный момент времениt = 0 и P_n(t) — вероятность того, что к моменту времени tраспалось n атомов. Вероятности P_n(t) удовлетворяют системе дифференциальных уравнений

Решая эту систему уравнений при начальных данных

P₀(0)= 1, P_n(0) = 0, 1 ≤ n ≤ N,

получаем

В этом примере в каждый момент времени имеется либо 0, либо 1, либо 2, ..., либо N распавшихся атомов, причём число их характеризует состояние изучаемого явления.

Рассмотренный пример укладывается в следующую более общую схему. Пусть всевозможными состояниями изучаемой системы являются ω₁, ω₂, ..., ω_n, ... в конечном или бесконечном числе. В каждый момент времени система может находиться в одном из этих состояний, и с течением времени происходят случайные переходы из одного состояния в другое. Процесс называют марковским, если состояние системы ω_i в некоторый момент времени определяет лишь вероятность p_ij(t) того, что через промежуток времени t система будет находиться в состоянии ω_j, причём эта вероятность не зависит от течения процесса в предшествующий период. Вероятности p_ij(t) называют переходными вероятностями. При очень широких условиях переходные вероятности М. п. удовлетворяют конечной или бесконечной системе линейных однородных обыкновенных дифференциальных уравнений.

Теория М. п. возникла на основе исследований А. А. Маркова (старшего), который в работах 1907 положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова. В теории цепей Маркова рассматриваются такие системы, которые могут переходить из одного состояния в другое лишь во вполне определённые моменты времени t_i,t_i, ... ,t_k, ... Пусть p_ijобозначает вероятность того, что система в момент времениt_k+1 находится в состоянии ω_j, если известно, что в момент времени t_k она находилась в состоянии ω_i. Исследование цепей Маркова можно свести к изучению матриц (См. Матрица) переходных вероятностей Диффузия), в которых состояние системы характеризуется непрерывно изменяющейся координатой диффундирующей частицы.

В этом случае вместо переходных вероятностей естественно рассматривать соответствующие плотности вероятностей f(t, х, у). Тогда f(t, х, у) есть вероятность того, что частица, находившаяся в точке х, через промежуток времени t будет иметь координату, заключённую между у и y+dy. Колмогоров показал (при некоторых общих условиях), что плотности f(t, х, у) удовлетворяют следующему дифференциальному уравнению с частными производными

которое ранее было введено для важного в физике специального случая процесса диффузии немецкими физиками А. Фоккером и М. Планком. В этом уравнении коэффициент A(y) представляет собой среднюю скорость изменения координаты у, а коэффициент В(у) — интенсивность случайных колебаний около этой средней. Указанное уравнение явилось источником для многих исследований по теории М. п. в СССР и за рубежом.

Лит.: Марков А. А., Избранные труды. Теория чисел. Теория вероятностей, М., 1951; Колмогоров А. Н., Об аналитических методах в теории вероятностей, «Успехи математических наук», 1938, в. 5; Феллер В., Введение в теорию вероятностей и её приложения, перевод с английского, т. 1 — 2, М., 1967; Гихман И. И., Скороход А. В., Введение в теорию случайных процессов, М., 1965.

Б. А. Севастьянов, С. Х. Сираждинов.

МАРКОВСКИЙ ПРОЦЕСС - важный специальный вид случайных процессов. Примером марковского процесса может служить распад радиоактивного вещества, где вероятность распада данного атома за малый промежуток времени не зависит от течения процесса в предшествующий период. Теория марковского процесса возникла на основе исследований А. А. Маркова (старшего).

Markoff [Markovian] process

Markov(ian) process

Ма́рковский проце́сс

важный специальный вид случайных процессов. Примером Марковского процесса может служить распад радиоактивного вещества, где вероятность распада данного атома за малый промежуток времени не зависит от течения процесса в предшествующий период. Теория Марковского процесса возникла на основе исследований А. А. Маркова (старшего), по теории вероятностей.

* * *

МА́РКОВСКИЙ ПРОЦЕ́СС, важный специальный вид случайных процессов. Примером марковского процесса может служить распад радиоактивного вещества, где вероятность распада данного атома за малый промежуток времени не зависит от течения процесса в предшествующий период. Теория марковского процесса возникла на основе исследований А. А. Маркова (старшего).

, процесс без последействия, - случайный процесс, эволюция к-рого после любого заданного значения временного параметра tне зависит от эволюции, предшествовавшей t, при условии, что значение процесса в этот момент фиксировано (короче: "будущее" н "прошлое" процесса не зависят друг от друга при известном "настоящем").

Определяющее М. п. свойство принято наз. марковским; впервые оно было сформулировано А. А. Марковым [1]. Однако уже в работе Л. Башелье [2] можно усмотреть попытку трактовать броуновское движение как М. п., попытку, получившую обоснование после исследований Н. Винера (N. Wiener, 1923). Основы общей теории М. п. с непрерывным временем были заложены А. Н. Колмогоровым [3].

Марковское свойство. Имеются существенно отличающиеся друг от друга определения М. п. Одним из наиболее распространенных является следующее. Пусть на вероятностном пространстве задан случайный процесс со значениями из измеримого пространства где Т - подмножество действительной оси Пусть N_t (соответственно N^t).есть s-алгебра в порожденная величинами X(s).при где Другими словами, N_t (соответственно N^t) - это совокупность событий, связанных с эволюцией процесса до момента t(начиная с t). Процесс X(t).наз. марковским процессом, если (почти наверное) для всех выполняется марковское свойство:

или, что то же самое, если для любых

М. п., для к-рого Тсодержится в множестве натуральных чисел, наз. Маркова цепью (впрочем, последний термин чаще всего ассоциируется со случаем не более чем счетного Е). Если Тявляется интервалом в а Ене более чем счетно, М. п. наз. цепью Маркова с непрерывным временем. Примеры М. п. с непрерывным временем доставляются диффузионными процессами и процессами с независимыми приращениями, в том числе пуассоновским и винеровским.

В дальнейшем для определенности речь будет идти только о случае Формулы (1) и (2) дают ясную интерпретацию принципа независимости "прошлого" и "будущего" при известном "настоящем", но основанное на них определение М. п. оказалось недостаточно гибким в тех многочисленных ситуациях, когда приходится рассматривать не одно, а набор условий типа (1) или (2), отвечающих различным, хотя и согласованным определенным образом, мерам Такого рода соображения привели к принятию следующего определения (см. [9], [11]).

Пусть заданы:

а) измеримое пространство где s-алгебра содержит все одноточечные множества в Е;

б) измеримое пространство снабженное семейством s-алгебр таких, что если

в) функция ("траектория") x_t=x_t(w), определяющая при любых измеримое отображение

г) для каждых и вероятностная мера на s-алгебре такая, что функция измерима относительно если и

Набор наз. (необрывающимся) марковским процессом, заданным в если -почти наверное

каковы бы ни были Здесь - пространство элементарных событий, - фазовое пространство или пространство состояний, Р(s, x, t, В) - переходная функция или вероятность перехода процесса X(t). Если Енаделено топологией, а - совокупность борелевских множеств в Е, то принято говорить, что М. п. задан в Е. Обычно в определение М. п. включают требование, чтобы и тогда истолковывается как вероятность при условии, что x_s=x.

Возникает вопрос: всякую ли марковскую переходную функцию Р(s, x; t, В), заданную в измеримом пространстве можно рассматривать как переходную функцию нек-рого М. п. Ответ положителен, если, напр., Еявляется сепарабельным локально компактным пространством, а - совокупностью борелевских множеств в Е. Более того, пусть Е - полное метрич. пространство и пусть

а - дополнение e-окрестности точки х. Тогда соответствующий М. п. можно считать непрерывным справа и имеющим пределы слева (т. е. таковыми можно выбрать его траектории). Существование же непрерывного М. п. обеспечивается условием при (см. [9], [11]). В теории М. п. основное внимание уделяется однородным (по времени) процессам. Соответствующее определение предполагает заданной систему объектов а) - г) с той разницей, что для фигурировавших в ее описании параметров sи u теперь допускается лишь значение 0. Упрощаются и обозначения:

Далее, постулируется однородность пространства W, т. е. требуется, чтобы для любых существовало такое что (w) при Благодаря этому на s-алгебре N, наименьшей из s-алгебр в W, содержащих любое событие вида задаются операторы временного сдвига q_t, к-рые сохраняют операции объединения, пересечения и вычитания множеств и для к-рых

где

Набор наз. (необрывающимся) однородным марковским процессом, заданным в если -почти наверное

для Переходной функцией процесса X(t).считается Р(t, x, В), причем, если нет специальных оговорок, дополнительно требуют, чтобы Полезно иметь в виду, что при проверке (4) достаточно рассматривать лишь множества вида где и что в (4) всегда F_t можно заменить s-алгеброй , равной пересечению пополнений F_t по всевозможным мерам Нередко в фиксируют вероятностную меру m ("начальное распределение") и рассматривают марковскую случайную функцию где - мера на заданная равенством

М. п. наз. прогрессивно измеримым, если при каждом t>0 функция индуцирует измеримое отображение в где есть s-алгебра

борелевских подмножеств в [0, t]. Непрерывные справа М. п. прогрессивно измеримы. Существует способ сводить неоднородный случай к однородному (см. [11]), и в дальнейшем речь будет идти об однородных М. п.

Строго марковское свойство. Пусть в измеримом пространстве задан М. п.

Функция наз. марковским моментом, если для всех При этом множество относят к семейству F_t, если при (чаще всего F_t интерпретируют как совокупность событий, связанных с эволюцией X(t).до момента т). Для полагают

Прогрессивно измеримый М. п. Xназ. строго марковским процессом (с. м. п.), если для любого марковского момента т и всех и соотношение

(строго марковское свойство) выполняется -почти наверное на множестве W_t. При проверке (5) достаточно рассматривать лишь множества вида где в этом случае С. м. п. является, напр., любой непрерывный справа феллеровский М. п. в топологич. пространстве Е. М. п. наз. феллеровским марковским процессом, если функция

непрерывна всякий раз, когда f непрерывна и ограничена.

В классе с. м. п. выделяются те или иные подклассы. Пусть марковская переходная функция Р(t, x, В), заданная в метрическом локально компактном пространстве Е, стохастически непрерывна:

для любой окрестности Uкаждой точки Тогда если операторы переводят в себя класс непрерывных и обращающихся в 0 в бесконечности функций, то функции Р(t, х, В).отвечает стандартный М. п. X, т. е. непрерывный справа с. м. п., для к-рого

при

при

и - почти наверное на множестве

где

а - неубывающие с ростом пмарковские моменты.

Обрывающийся марковский процесс. Нередко физич. системы целесообразно описывать с помощью необрывающегося М. п., но лишь на временном интервале случайной длины. Кроме того, даже простые преобразования М. п. могут привести к процессу с траекториями, заданными на случайном интервале (см. Функционал от марковского процесса). Руководствуясь этими соображениями, вводят понятие обрывающегося М. п.

Пусть - однородный М. п. в фазовом пространстве имеющий переходную функцию и пусть существуют точка и функция такие, что при и в противном случае (если нет специальных оговорок, считают ). Новая траектория x_t(w) задается лишь для ) посредством равенства a F_t определяется как след в множестве

Набор где наз. обрывающимся марковским процессом (о. м. п.), полученным из с помощью обрыва (или убивания) в момент z. Величина z наз. моментом обрыва, или временем жизни, о. м. п. Фазовым пространством нового процесса служит где есть след s-алгебры в Е. Переходная функция о. м. п.- это сужение на множество Процесс X(t).наз. строго марковским процессом, или стандартным марковским процессом, если соответствующим свойством обладает Необрывающийся М. п. можно рассматривать как о. м. п. с моментом обрыва Неоднородный о. м. п. определяется аналогичным образом. М. <Г. Шур.

Марковские процессы и дифференциальные уравнения. М. п. типа броуновского движения тесно связаны с дифференциальными уравнениями параболич. типа. Переходная плотность р(s, x, t, у).диффузионного процесса удовлетворяет при нек-рых дополнительных предположениях обратному и прямому дифференциальным уравнениям Колмогорова:

Функция р(s, x, t, у).есть функция Грина уравнений (6) - (7), и первые известные способы построения диффузионных процессов были основаны на теоремах существования этой функции для дифференциальных уравнений (6) - (7). Для однородного по времени процесса оператор L(s, x) = L(x).на гладких функциях совпадает с характеристич. оператором М. п. (см. Переходных операторов полугруппа).

Математич. ожидания различных функционалов от диффузионных процессов служат решениями соответствующих краевых задач для дифференциального уравнения (1). Пусть - математич. ожидание по мере Тогда функция удовлетворяет при s<T уравнению (6) и условию

Аналогично, функция

удовлетворяет при s<T уравнению

и условию и ₂( Т, x) = 0.

Пусть тt - момент первого достижения границы дD области траекторией процесса Тогда при нек-рых условиях функция

удовлетворяет уравнению

и принимает значения ср на множестве

Решение 1-й краевой задачи для общего линейного параболич. уравнения 2-го порядка

при довольно общих предположениях может быть записано в виде

В случае, когда оператор Lи функции с, f не зависят от s, аналогичное (9) представление возможно и для решения линейного эллиптич. уравнения. Точнее, функция

при нек-рых предположениях есть решение задачи

В случае, когдгг оператор Lвырождается (del b(s, х) = 0).или граница дD недостаточно "хорошая", граничные значения могут и не приниматься функциями (9), (10) в отдельных точках или на целых множествах. Понятие регулярной граничной точки для оператора L имеет вероятностную интерпретацию. В регулярных точках границы граничные значения достигаются функциями (9), (10). Решение задач (8), (11) позволяет изучать свойства соответствующих диффузионных процессов и функционалов от них.

Существуют методы построения М. п., не опирающиеся на построение решений уравнений (6), (7), напр. метод стохастических дифференциальных уравнений, абсолютно непрерывная замена меры и др. Это обстоятельство вместе с формулами (9), (10) позволяет вероятностным путем строить и изучать свойства краевых задач для уравнения (8), а также свойства решении соответствующего эллиптич. уравнения.

Так как решение стохастического дифференциального уравнения нечувствительно к вырождению матрицы b(s, x), то вероятностные методы применялись для построения решений вырождающихся эллиптических и параболических дифференциальных уравнений. Распространение принципа усреднения Н. М. Крылова и Н. Н. Боголюбова на стохастические дифференциальные уравнения позволило с помощью (9) получить соответствующие результаты для эллиптических и параболических дифференциальных уравнений. Нек-рые трудные задачи исследования свойств решений уравнений такого типа с малым параметром при старшей производной оказалось возможным решить с помощью вероятностных соображений. Вероятностный смысл имеет и решение 2-й краевой задачи для уравнения (6). Постановка краевых задач для неограниченной области тесно связана с возвратностью соответствующего диффузионного процесса.

В случае однородного по времени процесса (Lне зависит от s) положительное решение уравнения с точностью до мультипликативной постоянной совпадает при нек-рых предположениях со стационарной плотностью распределения М. п. Вероятностные соображения оказываются полезными и при рассмотрении краевых задач для нелинейных параболич. уравнений. Р. 3. Хасьминский.

Лит.:[1] Марков А. А., "Изв. физ.-мат. об-ва Казан. ун-та", 1906, т. 15, №4, с. 135-56; [2] В а с h e l i е r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; [3] Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415- 458; рус. пер.-"Успехи матем. наук", 1938, в. 5, с. 5-41; [4] Ч ж у н К а й - л а й, Однородные цепи Маркова, пер. с англ., М., 1964; [5] Р е 1 1 е r W., "Ann. Math.", 1954, v. 60, p. 417-36; [6] Д ы н к и н Е. Б., Ю ш к е в и ч А. А., "Теория вероятн. и ее примен.", 1956, т. 1, в. 1, с. 149-55; [7] X а н т Дж.-А., Марковские процессы и потенциалы, пер. с англ., М., 1962; [8] Д е л л а ш е р и К., Емкости и случайные процессы, пер. с франц., М., 1975; [9] Д ы н к и н Е. В., Основания теории марковских процессов, М., 1959; [10] его же, Марковские процессы, М., 1963; [11] Г и х м а н И. И., С к о р о х о д А. В., Теория случайных процессов, т. 2, М., 1973; [12] Фрейдлин М. И., в кн.: Итоги науки. Теория вероятностей, математическая статистика. - Теоретическая кибернетика. 1966, М., 1967, с. 7-58; [13] X а с ь м и н с к и й Р. 3., "Теория вероятн. и ее примен.", 1963, т. 8, в .1, с. 3-25; [14] Вентцель А. Д., Фрейдлин М. И., Флуктуации в динамических системах под действием малых случайных возмущений, М., 1979; [15] Blumenthal R. М., G e t о о r R. К., Markov processes and potential theory, N.Y.- L., 1968; [16] Getоor R. K., Markov processes: Ray processes and right processes, В., 1975; [17] Кузнецов С. Е., "Теория вероятн. и ее примен.", 1980, т. 25, в. 2, с. 389-93.