Марковские случайные процессы

При исследовании различных операций с точки зрения выбора оптимального решения часто возникают ситуации, когда обстановка приведения операции характеризуется случайными неконтролируемыми факторами.
В этом случае операция развивается по схеме случайного процесса, протекание которого зависит от сопровождающих операцию случайных факторов.

В этом разделе мы будем заниматься стохастическими задачами исследования операций. В этом случае построение математической модели является достаточно сложным. Исключение составляет особый случай, когда исследуемая операция представляет собой так называемый марковский процесс.

Количественно случайный процесс описывается случайной функцией времени t, которая может принимать различные значения с заданным распределением вероятностей. Т.о. для любого t=ti значение

является случайной величиной.

Случайный процесс определяется совокупностью функций времени и законами, характеризующими свойства этой совокупности. Каждая из функций этой совокупности называется реализацией случайного процесса. Реализация обозначается

В зависимости от того, принадлежат ли возможные значения времени t и реализации
, дискретному множеству чисел или интервалу действительных чисел, различают четыре типа случайных процессов:

Случайный процесс общего типа:
могут принимать любые значения.
Дискретный случайный процесс:
t-непрерывно, а значения дискретны.
Случайная последовательность общего типа:
t-дискретно, а принимает любые значения.
Дискретная случайная последовательность:
дискретны.

Для описания случайного процесса используют функции распределения:

одномерная интегральная функция распределения вероятностей случайного процесса и плотность вероятности .
Функции F1(x1,t1) и f(x1,t1) являются простейшими характеристиками, т.к. описывают случайный процесс в фиксированные моменты времени. Для более полной характеристики случайного процесса необходимо знать связь между вероятными значениями случайной функции в произвольные моменты времени t1, t2, : tn.

Определим n-мерную функцию распределения вероятностей случайного процесса Если Fn() имеет частные производные то эта производная называется n-мерной плотности вероятности случайного процесса. Имеет место очевидное равенство

-условие плотности вероятности, которое зависит от значений случайного процесса в предшествующие моменты времени начиная с начального момента времени t1 и кончая моментом tn-1.
Случайный процесс будет марковским, если выполняется условие В этом случае
Условная плотность вероятности называется плотностью вероятности перехода. Если плотность вероятности перехода зависит от разности и не зависит от конкретных значений ti, ti-1 то такой процесс называется однородным. В исследовании операций большое значение имеют так называемые марковские случайные процессы с дискретными состояниями и непрерывным временем. В этом случае все его возможные состояния Q1,Q2,... можно перенумеровать.
Переход из состояния в состояние происходит мгновенно, а моменты времени переходов являются случайными.

Пример такого процесса:
техническое устройство Q состоит из двух узлов каждый из которых в случайный момент времени может выйти из строя, после чего мгновенно начинается его ремонт, который продолжается случайное время.

Возможные состояния системы:

Q0 - оба узла исправны.
Q1 - первый узел ремонтируется, а второй исправен.
Q2 - второй узел ремонтируется, а первый исправен.
Q3 - оба узла ремонтируются. Переход системы Q из состояния в состояние происходит практически мгновенно в случайные моменты времени выхода какого-то узла из строя или состояния его ремонта.
Граф состояний имеет вид :

Отсутствие стрелок между Q0 и Q3 означает, что вероятностью одновременного выхода из строя двух узлов мы пренебрегаем. Прежде чем построить математическую модель марковского процесса с непрерывным временем и дискретным состоянием рассмотрим понятие "потокa" событий.