Методичні вказівки до лабораторних робіт на тему Однорідні ланцюги Маркова, фундаментальна матриця для поглинального стану

ЛАБОРАТОРНА РОБОТА №3_ПЗМЕП

Тема: «ОДНОРІДНІ  ЛАНЦЮГИ МАРКОВА. ФУНДАМЕНТАЛЬНА МАТРИЦЯ ДЛЯ ПОГЛИНАЛЬНОГО СТАНУ ТА ЇЇ ЗАСТОСУВАННЯ ДО ОБЧИСЛЕННЯ ЧИСЛОВИХ ХАРАКТЕРИСТИК МАРКІВСЬКОГО ПРОЦЕСУ»

ХІД РОБОТИ

Розрахунки для всіх наведених прикладів виконайте в системі MatLab та в Excel.. Всі приклади перепишіть у робочий зошит.

Складіть звіт в електронній формі, проілюструйте кожний приклад скриншотами виконання розрахунків в MatLab та Excel.

ТЕОРЕТИЧНІ ВІДОМОСТІ

Канонічна форма матриці π

Розглядаючи поглинальні ланцюги Маркова, стани процесу нумерують так, щоб поглинальні дістали перші номери.

З огляду на це матриця — вона в такому разі називається канонічною формою матриці π.

Тут I — одинична матриця розміром m×m;

O — матриця розміром  усі елементи якої дорівнюють нулю;

Q — матриця розміром  елементами якої є ймовірності переходів системи з непоглинальних станів до непоглинальних;

R — матриця розміром  елементами якої є ймовірності, що визначають перехід системи з непоглинального стану до поглинального.

Матрицю  називають фундаментальною для поглинального ланцюга Маркова.

Фундаментальна матриця N застосовується для визначення інших числових характеристик:

1) імовірності переходу до поглинального стану за умови, що процес почався з непоглинального стану;

2) середнє значення часу перебування процесу в непоглинальному стані, перш ніж він перейде до одного з поглинальних станів, за умови, що в початковий момент часу процес був у непоглинальному стані;

3) середню кількість зроблених кроків, перш ніж процес перейде до поглинального стану, якщо початковий стан процесу був непоглинальним.

1) Імовірності переходу системи до поглинального стану

Нехай  — імовірність, з якою система за певну кількість кроків набуває поглинального стану. Якщо система перебуває, скажімо, у непоглинальному стані , то з нього вона може на 1-му кроці перейти до поглинального стану з імовірністю  і в ньому ж залишитись або перейти до непоглинального стану  з імовірністю , а далі з імовірністю  набути поглинального стану. 

2) Елемент, який у матриці N міститься на перетині і-го рядка і j-го стовпця, характеризує середнє значення кількості випадків перебування системи (процесу) у стані (математичне сподівання) і позначається .

3) Середня кількість кроків, що їх здійснить система, перш ніж набуде поглинального стану, та її дисперсія

Нехай t — кількість кроків, що здійснить система, перш ніж набуде поглинального стану.

Приклад 1. За даною матрицею ймовірностей однокрокового переходу, яка описує поглинальний марковський процес, знайти фундаментальну матрицю N.

Приклад 2. За результатами обробки статистичної інформації про навчальний процес деякого вищого навчального закладу України дістали такі дані про його середньостатистичного студента:

• студент 1-го курсу з імовірністю 0,1 припиняє навчання через неуспішність, з імовірністю 0,25 ще на рік залишається першокурсником та з імовірністю 0,65 переходить на 2-й курс;

• студент 2-го курсу з імовірністю 0,15 відсівається через неуспішність, з імовірністю 0,3 залишається повторно студіювати 2-й курс, з імовірністю 0,55 переходить на 3-й курс;

• студент 3-го курсу відсівається з імовірністю 0,22, з імовірністю 0,31 стає другорічником, з імовірністю 0,57 переходить на 4-й курс;

• студент 4-го курсу відсівається з імовірністю 0,12, з імовірністю 0,2 стає другорічником, з імовірністю 0,68 переходить на 5-й курс;

• студент 5-го курсу відсівається з імовірністю 0,05, з імовірністю 0,15 стає другорічником, з імовірністю 0,8 захищає дипломну роботу і залишає вуз дипломованим фахівцем.

Побудувати матрицю  імовірностей переходу та знайти фундаментальну матрицю.

Розв’язання. Розглянемо умовно студента як деяку ймовірнісну систему, що може перебувати в одному із семи несумісних станів:  — відсіятися через незадовільне навчання;  —навчатися на 1-му курсі;  — навчатися відповідно на 2-му, 3-му, 4-му та 5-му курсах;  — залишити вищий навчальний заклад дипломованим фахівцем. 

Отже, середнє значення (математичне сподівання) часу, протягом якого система (процес) перебуває в одному зі станів , визначається відповідним елементом матриці  Так, у розглядуваному прикладі середньостатистичний студент у середньому на 1-му курсі може перебувати 1,33 одиниці часу, на 2-му— 1,24, на 3-му — 1,17, на 4-му — 0,83 і на 5-му курсі — 0,67.

Фундаментальна матриця N застосовується для визначення інших числових характеристик: дисперсії загального часу перебування системи в одному зі станів  середньої кількості кроків, що їх зробить система до моменту, коли вона набуде поглинального стану; дисперсії ймовірності того, що система перейде з непоглинального стану до поглинального.

Приклад 3. За даною матрицею ймовірностей однокрокового переходу поглинального ланцюга Маркова визначити дисперсію.

Середня кількість кроків, що їх здійснить система, перш ніж набуде поглинального стану, та її дисперсія.

Приклад 4. За даною однокроковою матрицею ймовірностей переходу, записаною в канонічній формі.

Знаючи  і, доходимо висновку, що найшвидше система перейде до поглинального стану, коли вона перебуватиме в непоглинальному стані. Справді, у такому разі середня кількість кроків системи до поглинального стану дорівнює 2,227. У цьому стані маємо й найменшу дисперсію, яка становить 8,352. У станах і це значення дорівнює відповідно 14,04 і 9,869.

Імовірності переходу системидо поглинального стану

Приклад 5. За даною однокроковою матрицею ймовірностей переходу поглинального ланцюга Маркова, знайти ймовірності переходу системи до поглинального стану.

Отже, якщо, наприклад, система перебуває в непоглинальному стані  то з імовірністю 0,489 вона набуває поглинального стану  або з імовірністю 0,511 — поглинального стану

ПЕРЕЛІК ЗАПИТАНЬ (відповіді - письмово)

1. Що називають поглинальним ланцюгом Маркова?

2. Що називають ергодичним ланцюгом Маркова?

3. Що називають циклічним ланцюгом Маркова?

4. Що називають регулярним ланцюгом Маркова?

5. Канонічна форма матриці p для поглинального ланцюга Маркова.

6. Матриця Q та властивості її елементів. Властивості матриці Q.

7. Матриця R та властивості її елементів.

8. Фундаментальна матриця та її властивості.

9. Середнє значення загальної кількості разів перебування системи в одному зі станів  

10. Дисперсія перебування системи в одному зі станів

11. Середня кількість кроків, що їх здійснить система, перш ніж набуде поглинального стану; її дисперсія.

12. Визначення ймовірностей, за яких система набуває поглинального стану. 

З повагою ІЦ "KURSOVIKS"!