Цепи Маркова

Министерство образования  и науки Российской Федерации

ФИЛИАЛ ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО БЮДЖЕТНОГО ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ

 ВЫСШЕГО  ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ПОВОЛЖСКИЙ ГОСУДАРСТВЕННЫЙ  УНИВЕРСИТЕТ СЕРВИСА»

в  г. Сызрани

 

 

Кафедра «Сервисные технологии »

 

 

 

РЕФЕРАТ

 

 

 

по дисциплине:

 

«________________________________________________________»

 

 

тема:  

 

«_______________________________________________________________»

 

 

 

Выполнил: студент  группы ___________________                          ________________________________                                                 (Ф.И.О.)

Принял: ученая степень, должность_____________                                                      ________________________________                                                 (Ф.И.О.)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Сызрань,2014

Введение в  теорию марковских цепей

Цепью Маркова называют такую последовательность случайных  событий, в которой вероятность  каждого события зависит только от состояния, в котором процесс  находится в текущий момент и не зависит от более ранних состояний. Конечная дискретная цепь определяется:

1. множеством состояний S = {s₁, …, s_n}, событием является переход из одного состояния в другое в результате случайного испытания
2. вектором начальных вероятностей (начальным распределением) p⁽⁰⁾ = {p⁽⁰⁾(1),…, p⁽⁰⁾(n)}, определяющим вероятности p⁽⁰⁾(i) того, что в начальный момент времени t = 0 процесс находился в состоянии s_i
3. матрицей переходных вероятностей P = {p_ij}, характеризующей вероятность перехода процесса с текущим состоянием s_i в следующее состояние s_j, при этом сумма вероятностей переходов из одного состояния равна 1:

∑_j=1…n  p_ij = 1

 

Пример матрицы переходных вероятностей с множеством состояний S = {S₁, …, S₅}, вектором начальных вероятностей p⁽⁰⁾ = {1, 0, 0, 0, 0}:

С помощью вектора  начальных вероятностей и матрицы  переходов можно вычислить стохастический вектор p⁽ⁿ⁾ — вектор, составленный из вероятностей p⁽ⁿ⁾(i) того, что процесс окажется в состоянии i в момент времени n. Получить p⁽ⁿ⁾ можно с помощью формулы:

p⁽ⁿ⁾ = p⁽⁰⁾×P ⁿ

Векторы p⁽ⁿ⁾ при росте n в некоторых случаях стабилизируются — сходятся к некоторому вероятностному вектору ρ, который можно назвать стационарным распределением цепи. Стационарность проявляется в том, что взяв p⁽⁰⁾ = ρ, мы получим p⁽ⁿ⁾ = ρ для любого n. 
Простейший критерий, который гарантирует сходимость к стационарному распределению, выглядит следующим образом: если все элементы матрицы переходных вероятностей P положительны, то при n, стремящемуся к бесконечности, вектор p⁽ⁿ⁾стремится к вектору ρ, являющемуся единственным решением системы вида 

p × P = p.

Также можно показать, что если при каком-нибудь положительном значении n все элементы матрицы P ⁿ положительны, тогда вектор p⁽ⁿ⁾ все-равно будет стабилизироваться. Доказательство этих утверждений есть в [1] в подробном виде.

Марковская цепь изображается в виде графа переходов, вершины которого соответствуют состояниям цепи, а дуги — переходам между ними. Вес дуги (i, j), связывающей вершины s_i и s_j будет равен вероятности p_i(j) перехода из первого состояния во второе. Граф, соответствующий матрице, изображенной выше:

 

 

Классификация состояний марковских цепей

При рассмотрении цепей  Маркова нас может интересовать поведение системы на коротком отрезке времени. В таком случае абсолютные вероятности вычисляются с помощью формул из предыдущего раздела. Однако более важно изучить поведение системы на большом интервале времени, когда число переходов стремится к бесконечности. Далее вводятся определения состояний марковских цепей, которые необходимы для изучения поведения системы в долгосрочной перспективе. 
Марковские цепи классифицируются в зависимости от возможности перехода из одних состояний в другие.  
Группы состояний марковской цепи (подмножества вершин графа переходов), которым соответствуют тупиковые вершины диаграммы порядка графа переходов, называются эргодическими классами цепи. Если рассмотреть граф, изображенный выше, то видно, что в нем 1 эргодический класс M₁ = {S₅}, достижимый из компоненты сильной связности, соответствующей подмножеству вершин M₂ = {S₁, S₂, S₃, S₄}. Состояния, которые находятся в эргодических классах, называются существенными, а остальные — несущественными (хотя такие названия плохо согласуются со здравым смыслом). Поглощающее состояние s_i является частным случаем эргодического класса. Тогда попав в такое состояние, процесс прекратится. Для S_i будет верно p_ii = 1, т.е. в графе переходов из него будет исходить только одно ребро — петля.

Поглощающие марковские цепи используются в качестве временных моделей программ и вычислительных процессов. При моделировании программы состояния цепи отождествляются с блоками программы, а матрица переходных вероятностей определяет порядок переходов между блоками, зависящий от структуры программы и распределения исходных данных, значения которых влияют на развитие вычислительного процесса. В результате представления программы поглощающей цепью удается вычислить число обращений к блокам программы и время выполнения программы, оцениваемое средними значениями, дисперсиями и при необходимости — распределениями. Используя в дальнейшем эту статистику, можно оптимизировать код программы — применять низкоуровневые методы для ускорения критических частей программы. Подобный метод называется профилированием кода.

Например, в алгоритме  Дейкстры присутствуют следующие состояния  цепи:

• vertex (v), извлечение новой вершины из очереди с приоритетами, переход только в состояние b;
• begin (b), начало цикла перебора исходящих дуг для процедуры ослабления;
• analysis (a), анализ следующей дуги, возможен переход к a, d, или e;
• decrease (d), уменьшение оценки для некоторой вершины графа, переход к a;
• end (e), завершение работы цикла, переход к следующей вершине.

Остается задать вероятности переходом между вершинами, и можно изучать продолжительности переходов между вершинами, вероятности попадания в различные состояния и другие средние характеристики процесса.

Аналогично, вычислительный процесс, который сводится к обращениям за ресурсами системы в порядке, определяемом программой, можно представить поглощающей марковской цепью, состояния которой соответствуют использованию ресурсов системы – процессора, памяти и периферийных устройств, переходные вероятности отображают порядок обращения к различным ресурсам. Благодаря этому вычислительный процесс представляется в форме, удобной для анализа его характеристик.

Цепь Маркова называется неприводимой, если любое состояние S_j может быть достигнуто из любого другого состояния S_i за конечное число переходов. В этом случае все состояния цепи называются сообщающимися, а граф переходов является компонентой сильной связности. Процесс, порождаемый эргодической цепью, начавшись в некотором состоянии, никогда не завершается, а последовательно переходит из одного состояния в другое, попадая в различные состояния с разной частотой, зависящей от переходных вероятностей. Поэтому основная характеристика эргодической цепи –  вероятности пребывания процесса в состояниях S_j, j = 1,…, n, доля времени, которую процесс проводит в каждом из состояний. Неприводимые цепи используются в качестве моделей надежности систем. Действительно, при отказе ресурса, который процесс использует очень часто, работоспособность всей системы окажется под угрозой. В таком случае дублирование такого критического ресурса может помочь избежать отказов. При этом состояния системы, различающиеся составом исправного и отказавшего оборудования, трактуются как состояния цепи, переходы между которыми связаны с отказами и восстановлением устройств и изменением связей между ними, проводимой для сохранения работоспособности системы. Оценки характеристик неприводимой цепи дают представление о надежности поведения системы в целом. Также такие цепи могут быть моделями взаимодействия устройств с задачами, поступающими на обработку.

Примеры использования

Система обслуживания с  отказами

Сервер, состоит из нескольких блоков, например модемов или сетевых  карт, к которым поступают запросы  от пользователей на обслуживание. Если все блоки заняты, то запрос теряется. Если один из блоков принимает запрос, то он становится занятым до конца его обработки. В качестве состояний возьмем количество незанятых блоков. Время будет дискретно. Обозначим за α вероятность поступления запроса. Также мы считаем, что время обслуживания также является случайным и состоящим из независимых продолжений, т.е. запрос с вероятностью β обслуживается за один шаг, а с вероятностью (1 - β) обслуживается после этого шага как новый запрос. Это дает вероятность (1 - β) β для обслуживания за два шага, (1 - β)² β для обслуживания за три шага и т.д. Рассмотрим пример с 4 устройствами, работающими параллельно. Составим матрицу переходных вероятностей для выбранных состояний:

1 - α	α	0	0	0
β	1 - α - β	α	0	0
0	2β	1 - α - 2β	α	0
0	0	3β	1 - α - 3β	α
0	0	0	4β	1 - 4β

Можно заметить, что она  имеет единственный эргодический класс, и, следовательно, система p × P = p в классе вероятностных векторов имеет единственное решение. Выпишем уравнения системы, позволяющей находить это решение:

 

p₀ (1 - α) + p₁ β = p₀,  
p₀ α + p₁ (1 - α - β) + p₂ 2β = p₁,  
p₁ α + p₂ (1 - α - 2β) + p₃ 3β = p₂,  
p₂ α + p₃ (1 - α - 3β) + p₄ 4β = p₃,  
p₃ α + p₄ (1 - 4β) = p₄.

 

 

Отсюда получаем (при γ = α / β):

p₁ = γ p₀,  
p₂ = γ² p₀/2,  
p₃ = γ³ p₀/3,  
p₄ = γ⁴ p₀/4,

 

из условия нормировки следует:

 

p₀ = С = (1 + γ + γ²/2 + γ³/3 + γ⁴/4)^-1.

 

Теперь известен набор  вероятностей π_i того, что в стационарном режиме в системе будет занято i блоков. Тогда долю времени p₄ = С γ⁴/4 в системе заняты все блоки, система не отвечает на запросы. Полученные результаты распространяются на любое число блоков. Теперь можно воспользоваться ими: можно сопоставить затраты на дополнительные устройства и уменьшение времени полной занятости системы. 
Подробнее можно ознакомиться с этим примером в [1].

Процессы принятия решений  с конечным и бесконечным числом этапов

Рассмотрим процесс, в  котором есть несколько матриц переходных вероятностей. Для каждого момента времени выбор той или иной матрицы зависит от принятого нами решения. Понять вышесказанное можно на следующем примере. Садовник в результате анализа почвы оценивает ее состояние одним из трех чисел: (1) — хорошее, (2) — удовлетворительное или (3) — плохое. При этом садовник заметил, что продуктивность почвы в текущем году зависит только от ее состояния в предыдущем году. Поэтому вероятности перехода почвы без внешних воздействий из одного состояния в другое можно представить следующей цепью Маркова с матрицей P1:

P1
0.25	0.50	0.25
0.00	0.45	0.55
0.00	0.00	1.00

 

Логично, что продуктивность почвы со временем ухудшается. Например, если в прошлом году состояние  почвы было удовлетворительное, то в этом году оно может только остаться таким же или стать плохим, а  хорошим никак не станет. Однако садовник может повлиять на состояние почвы и изменить переходные вероятности в матрице P1 на соответствующие им из матрицы P2:

 

P2
0.40	0.50	0.10
0.15	0.60	0.25
0.05	0.45	0.50

 

Теперь можно сопоставить  каждому переходу из одного состояния в другое некоторую функцию дохода, которая определяется как прибыль или убыток за одногодичный период. Садовник может выбирать использовать или не использовать удобрения, именно от этого будет зависеть его конечный доход или убыток. Введем матрицы R1 и R2, определяющие функции дохода в зависимости от затрат на удобрения и качества почвы: