Предельные вероятности состояний

Предположим, в некоторой системе с n дискретными состояниями все потоки событий, переводящих систему из одного состояния в другое, - пуассоновские. Записав систему уравнении Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим вероятности состояний, как функции времени, т. е. n функции (5.12), удовлетворяющих условию (5.11).

Что же будет происходить с системой S при? Будут ли функции стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными (или «финальными») вероятностями состояний.

Можно доказать следующее общее положение. Если число состояний системы S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы.

На рис. 5.4 показаны ГСП, удовлетворяющие поставленному условию: из любого состояния система может рано или поздно перейти в любое другое. Если на графе рис 5.4, а изменить направление стрелки 4—3 на противоположное, то условие не будет выполнено.

Рис. 5.4. Примеры ГСП для систем с предельными вероятностями

Предположим, что поставленное условие выполнено, и предельные вероятности существуют:

. (5.22)

Предельные вероятности мы будем обозначать теми же буквамичто и сами вероятности состояний, подразумевая под ними не переменные величины (функции времени), а числа.

Очевидно, предельные вероятности состояний в сумме должны давать единицу:

(5.23)

Таким образом, прив системе S устанавливается некоторый предельный стационарный режим: пусть система случайным образом и меняет свои состояния, но вероятность каждого из них не зависит от времени и каждое из состояний осуществляется с некоторой постоянной вероятностью, которая представляет собой среднее относительное время пребывания системы в данном состоянии.

Например, если у системы три возможных состояния:и причем их предельные вероятности равны 0,2, 0,3 и 0,5, это означает, что после перехода к установившемуся режиму система в среднем две десятых времени будет находиться в состояниитри десятых — в состояниии половину времени — в состоянии

Для того чтобы вычислить предельные вероятности состояний, достаточно в системе уравнений Колмогорова, описывающих вероятности состояний, приравнять все левые части (производные) к нулю (поскольку в установившемся режиме все вероятности состояний постоянны).

В этом случае система дифференциальных уравнений превращается в систему линейных алгебраических уравнений. Совместно с условием (5.23) («нормировочным условием») эти уравнения дают возможность вычислить все предельные вероятности (5.22).

Пример 5.2. Система S имеет возможные состояния: размеченный граф которых дан на рис. 5.4, а (рядом с ка- ' ждой стрелкой проставлено численное значение соответствующей интенсивности). Вычислить предельные вероятности состояний

Запишем уравнения Колмогорова для вероятностей состояний:

(5.24)

Полагая левые части равными нулю, получим систему алгебраических уравнений для предельных вероятностей состояний:

(5.25)

Уравнения (5.25) — так называемые однородные уравнения (свободный член равен нулю). Как известно из алгебры, эти уравнения определяют кореньс точностью до постоянного множителя. Добавив нормировочное условие (5.23), или = 1, можно получить решение:

Возникает вопрос, каким образом система из пяти уравнений совместна на четырех неизвестных? Дело в том, что система (5.25) состоит из зависимых уравнений (если их сложить, то получается: 0 = 0), поэтому для решения достаточно выбрать три любых уравнения из (5.25) и добавить условие (5.23).

Заметим, что можно записать алгебраические уравнения для предельных вероятностей непосредственно, не проходя через этап дифференциальных.

Пример 5.3. Написать и решить алгебраические уравнения для предельных вероятностей состояний системы S, ГСП которой дан на рис. 5.4, б. Система уравнений имеет вид:

(5.26)

Условие нормировки:

= 1. (5.27)

Выразим с помощью первых двух уравнений (5.26) и через :

и подставим их в нормировочное условие (5.27)

= 1,

откуда

аналогично

. (5.28)

Процессы размножения и гибели

Мы убедились, что имея размеченный ГСП системы, можно сразу написать алгебраические уравнения для предельных вероятностей состояний. Таким образом, если две непрерывные цепи Маркова имеют одинаковые графы состояний и различаются только значениями интенсивностейотсутствует необходимость находить предельные вероятности состояний для каждого из графов в отдельности, достаточно составить и решить уравнения для одного из них, а затем подставить вместосоответствующие значения. Для многих часто встречающихся форм графов линейные уравнения легко решаются в алгебраическом виде.

Рассмотрим важную разновидность непрерывных марковских цепей — процесс размножения и гибели. Происхождение термина берет начало от биологических задач, где подобной схемой описывается процесс изменения численности популяции [7].

Марковская непрерывная цепь называется «процессом размножения и гибели», если ее ГСП имеет вид, представленный на рис. 5.5, а, т. е. все состояния можно вытянуть в одну цепочку, в которой каждое из средних состоянийсвязано прямой и обратной связью с каждым из соседних состояний, а

Рис. 5.5. ГСП для процессов размножения и гибели: а — общий вид; б — численный пример крайние состояния— только с одним соседним состоянием.

Пример 5.4. Техническое устройство состоит из трех одинаковых узлов; каждый из них может выходить из строя (отказывать); отказавший узел немедленно начинает восстанавливаться. Состояния системы:

— все три узла исправны;

— один узел отказал (восстанавливается), два исправны;

—два узла восстанавливаются, один исправен;

—все три узла восстанавливаются.

ГСП показан на рис. 5.5, б. Из графа видно, что процесс, протекающий в системе, представляет собой процесс размножения и гибели.

Схема размножения и гибели очень часто встречается в самых разнообразных практических задачах; поэтому имеет смысл заранее рассмотреть эту схему в общем виде и решить соответствующую систему алгебраических уравнений с тем, чтобы в дальнейшем, встречаясь с конкретными процессами, протекающими по такой схеме, пользоваться уже готовым решением.

Итак, рассмотрим случайный процесс размножения и гибели с графом состояний, представленным на рис. 5.5, а.

Напишем алгебраические уравнения для вероятностей состояний. Для первого состояния имеем:

(5.29)

Для второго состояниясуммы членов, соответствующих входящим и выходящим стрелкам, равны:

Но, в силу (5.29), можно сократить справа и слева равные друг другу члены и тогда получим:

и далее, совершенно аналогично,и т. д.

Очевидно, для этого случая члены, соответствующие стоящим друг над другом стрелкам, равны между собой:

(5.30)

где к принимает все значения от 2 до n.

Итак, предельные вероятности состояний в любой схеме размножения и гибели удовлетворяют уравнениям:

(5.31)

и нормировочному условию (5.23):

Будем решать эту систему следующим образом: выразим все переменные через , а именно:

из первого уравнения (5.31) выразим :

(5.32) из второго, с учетом (5.32), получим:

и так далее, общая формула имеет вид:

(5.33)

Эта формула справедлива для любого k от 2 до n.

Обратим внимание на структуру (5.33). В числителе стоит произведение всех плотностей вероятности перехода (интенсивностей), стоящих у стрелок, направленных слева направо, с начала и вплоть до той, которая идет в состояние; в знаменателе — произведение всех интенсивностей, стоящих у стрелок, идущих справа налево, опять-таки, с начала и вплоть до стрелки, исходящей из состояния. При k = n в числителе будет стоять произведение интенсивностей, стоящих у всех стрелок, идущих слева направо, а в знаменателе — у всех стрелок, идущих справа налево.

Итак, все вероятностивыражены через одну из них:. Подставив эти выражения в нормировочное условие и вынося(по аналогии с (5.28)), получаем:

. (5.34)

Остальные вероятности легко выражаются через — см. (5.32), (5.33). Таким образом, задача «размножения и гибели» решена в общем виде: найдены предельные вероятности состояний.

Пример 5.5. Найти предельные вероятности состояний для процесса размножения и гибели, граф которого показан на рис. 5.4, б.

По формулам (5.32)—(5.34) получим:

Что еще почитать

Комментарии к новости