Лекція 14 на тему Оптимізація словника ознак розпізнавання, Основи проектування інтелектуальних систем
« Назад
Лекція 14 на тему Оптимізація словника ознак розпізнаванняОдним із ефективних шляхів підвищення функціональної ефективності ІС і стиснення інформації є оптимізація словника ознак розпізнавання, спрямована на зменшення його інформаційної надлишковості. Визначення 14.1. Словником ознак розпізнавання називається впорядкована множина первинних і вторинних ознак розпізнавання, що відбивають властивості досліджуваних об’єктів. Визначення 14.2. Інфоромаційною надлишковістю словника ознак розпізнавання називається інформаційна надлишковість впорядкованої послідовності ознак розпізнавання, яка обчислюється за формулою де – безумовна (апріорна) ентропія словника ознак розпізнавання, яка обчислюється за формулою де – безумовна ймовірність інформативності -ї ознаки розпізнавання; – кількість ознак розпізнавання в словнику; – максимальна ентропія словника ознак розпізнавання, яка обчислюється при рівноймовірній інформативності ознак розпізнавання і обчислюється за формулою. У загальному випадку проблема формування оптимального в інформаційному розумінні словника ознак розпізнавання може розглядатися у трьох аспектах: 1) попередній відбір ознак для формування початкового словника ознак розпізнавання; 2) пошук у надлишковому словнику інформативних ознак, виявлення латентних і виключення неінформативних і “заважаючих” ознак розпізнавання; 3) доповнення словника інформативними первинними та вторинними ознаками розпізнавання. Початковий відбір ознак все ще залишається в основному функцією розробника інформаційного забезпечення ІС. Доступність ознак розпізнавання для вимірювання, наявність необхідних датчиків інформації (сенсорів) і приладів вимірювання значною мірою впливають на формування словника ознак. При цьому не виключається можливість ігнорування ознак, важливих для процесу прийняття рішень. Тому важливого значення набуває необхідність найкращого використання наявних ознак розпізнавання. Саме на це спрямовано другий аспект вирішення проблеми шляхом оптимізації в інформаційному розумінні вхідного математичного опису в процесі навчання системи. При цьому під латентними розуміються інформативні ознаки, які є ‘‘схованими’’, наприклад, через їх малу частоту спостережень. Третій аспект проблеми формування інформативного словника ознак розпізнавання так само доцільно вирішувати у рамках оптимізації параметрів процесу навчання ІС, наприклад, за методами ІЕІ-технології. Згідно із принципом відкладених рішень введемо у діаграму оптимізації системи контрольних допусків (рис. 11.2) додатковий контур оптимізації словника ознак розпізнавання, який замикається оператором p:Е, де – відкритий словник ознак розпізнавання, тобто це множина, потужність якої може змінюватися в процесі навчання системи, і оператором w, який безпосередньо змінює розмірність простору ознак. Крім того, потужність словника ознак може змінюватися залежно від величини кроку квантування в часі вхідних реалізацій класів розпізнавання згідно з оператором , і за рахунок ознак розпізнавання, наприклад, зовнішнього середовища та інших факторів, які впливають на потужність простору станів Z, за допомогою оператора Z. Категорійна модель інформаційно-екстремального навчання системи з оптимізацією словника ознак розпізнавання показана на рис. 14.1. Рисунок 14.1 – Категорійна модель навчання системи з оптимізацією словника ознак розпізнавання У діаграмі (рис.14.1) оператор змінює крок дискретизації реалізацій образу так само, як і оператор t2 у діаграмі (рис. 14.1), що призводить до зміни потужності словника , де показує, що потужність словника ознак може бути змінною. Оператор змінює простір ознак , а оператор – простір можливих функціональних станів ІС. Після формування у загальному випадку апріорно надлишкового варіанта словника його оптимізація згідно з категорійною моделлю (рис.14.1) здійснюється у процесі навчання ІС шляхом реалізації ітераційної процедури пошуку максимуму цільової функції де – область допустимих значень параметрів словника ознак розпізнавання. При цьому параметрами словника ознак розпізнавання можуть бути мінімальна та максимальна кількість ознак розпізнавання, кількість груп однотипних ознак розпізнавання та кількість ознак в цій групі тощо. На практиці оптимізація словника ознак розпізнавання здійснюється за трьома методами його редукції: послідовна спадна селекція, випадковий пошук та випадковий пошук з адаптацією. Метод послідовно спадної селекції в процесі оптимізації словника ознак розпізнавання оперує тільки одним поточним словником. При цьому на кожній ітерації видаляються ознаки, до тих пір, поки отриманий словник не забезпечить максимальне значення інформаційного критерію оптимізації. Недоліком цього методу є те, що без перевірки всіх можливих підмножин вихідного словника він не гарантує оптимального результату, оскільки ознаки, що були видалені із словника, не повертаються в процесі оптимізації. Найбільш відомі ймовірнісні методи редукції словника ознак розпізнавання базуються на ідеї випадкового пошуку. За цими методами випадковим образом відбирається ознак з N вхідних ознак до тих пір, поки не буде сформовано словник заданої інформативності. Модифікацією цього методу є випадковий пошук з адаптацією. Це послідовно спрямована процедура, яка базується на випадковому пошуку із врахуванням результатів попередніх відборів. При цьому на початку процедури шанси всіх вхідних ознак на входження в оптимальний словник Σ* потужністю <N приймаються рівними. Для випадкового відбору використовується датчик рівномірно розподілених на інтервалі [0;1] випадкових (псевдовипадкових) чисел, який розбивається на N рівних відрізків. Результати реалізації алгоритму (14.1) розглянемо на прикладі оптимізації словника ознак розпізнавання в процесі навчання системи керування процесом вирощування великогабаритних сцинтиляційних монокристалів із розплаву. Навчальна матриця формувалася із структурованих векторів-реалізацій функціонального стану технологічного процесу, кожний із яких складався із 33 первинних ознак розпізнавання, які періодично зчитувалися з датчиків інформації, і вторинних, які характеризували похідні від 15 первинних ознак. Алфавіт класів розпізнавання складався із трьох класів, які характеризували три діапазони відхилення діаметру монокристалу в процесі його вирощування на заданому інтервалі спостереження Оптимізація словника ознак розпізнавання в процесі навчання СППР здійснювалася за схемою послідовної спадної селекції, за якою на кожному кроці формувалися варіанти словників з потужністю менше на одиницю за потужність поточного словника. На кожному кроці навчання обчислювалося максимальне усереднене значення ентропійного КФЕ (9.10) для поточного словника. При цьому ознака розпізнавання, видалення якої із словника не змінює значення інформаційного КФЕ навчання системи, вважається неінформативною. Ознака, видалення якої із словника зменшує значення інформаційного КФЕ навчання системи, вважається інформативною. І ознака, видалення якої із словника збільшує значення інформаційного КФЕ навчання системи, вважається “заважаючою”. На рис. 14.2 показано максимальні усереднені значення КФЕ, одержані при оптимізації варіантів словників, що формувалися для початкового словника ознак розпізнавання за схемою послідовної спадної селекції. Рисунок 14.2. – Діаграма максимальних усереднених значень КФЕ для варіантів словників, сформованих на першому кроці оптимізації Аналіз рис. 14.2 показує, що на першому кроці оптимізації словника найменш інформативною ознакою є сьома ознака, яку необхідно видалити. При цьому КФЕ досягає свого найбільшого значення , яке дорівнює , що перевершує значення цього критерію, одержане при використанні початкового (надлишкового в інформаційному розумінні) словника . Аналогічно на кожному кроці визначалася та видалялася одна найменш інформативна ознака. На рис. 14.3 показано графік зміни максимального усередненого КФЕ навчання СППР для 45 варіантів словників ознак, сформованих в процесі їх оптимізації за схемою послідовної спадної селекції. Рисунок 14.3 – Графік зміни КФЕ при оптимізації словника ознак з використанням схеми послідовної спадної селекції Аналіз рис. 14.3 показує, що в процесі оптимізації словника ознак за схемою послідовної спадної селекції значення нормованого ентропійного КФЕ (9.10) у порівнянні з початковим словником підвищилося до 0.983. Для побудови безпомилкових за навчальною матрицею вирішальних правил необхідно здійснювати оптимізацію інших параметрів навчання, які впливають на функціональну ефективність машинного навчання СППР.
Контрольні запитання
СПИСОК ЛІТЕРАТУРИ 1. Довбиш А.С. Основи проектування інтелектуальних систем: Навчальний посібник / А.С. Довбиш.– Суми: Видавництво СумДУ, 2009.– 171 с. 2. Довбиш А.С. Інтелектуальні інформаційні технології в електронному навчанні / А.С. Довбиш, А.В. Васильєв, В.О. Любчак. – Суми: Видавництво СумДУ. – 2013. – 172 с. 3. Субботін С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень: навч. посіб./ С. О. Субботін. — Запоріжжя: ЗНТУ, 2008. — 341с. 4. Люггер Д. Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем / Д. Ф. Люггер – Изд-во «Вильямс» – 2003.– 864 с. 5. Апостолюк В. О. Інтелектуальні системи керування: конспект лекцій / В. О. Апостолюк, О. С. Апостолюк. – К.: НТУУ «КПІ», 2008. – 88 с. З повагою ІЦ "KURSOVIKS"!
|