AACIMP 2010 Summer School lecture by Andriy Boldak. "Sustainable Development" stream. "Using of Bayes Belief Networks for Sustainable Development Analysis" course. More info at http://summerschool.ssa.org.ua

1. НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
УКРАИНЫ
“КИЕВСКИЙ ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ”
5-Я ЛЕТНЯЯ ШКОЛА AACIMP-2010
Использование байесовских сетей
доверия для анализа устойчивого
развития
БОЛДАК АНДРЕЙ АЛЕКСАНДРОВИЧ
05.08.2010 – КИЕВ

2. ПРОЦЕССЫ УСТОЙЧИВОГО
РАЗВИТИЯ КАК ОБЪЕКТ
ИССЛЕДОВАНИЯ

3. НЕОБХОДИМОСТЬ СОГЛАСОВАНИЯ ДАННЫХ РАЗЛИЧНОЙ 3
ПРИРОДЫ
Экологическая составляющая
ИНТЕГРАЛЬНАЯ
ОЦЕНКА
Социальная УСТОЙЧИВОГО
составляющая РАЗВИТИЯ
Экономическая
составляющая

4. МЕТОДИКА ИЗМЕРЕНИЯ УСТОЙЧИВОГО РАЗВИТИЯ (МИУР)
4
ГЛОБАЛЬНЫЕ ЭКОЛОГИЧЕСКАЯ ЭКОНОМИЧЕСКАЯ СОЦИАЛЬНАЯ
ГЛОБАЛЬНЫЕ
ГЛОБАЛЬНЫЕ
УГРОЗЫ (10) СОСТАВЛЯЮЩАЯ СОСТАВЛЯЮЩАЯ СОСТАВЛЯЮЩАЯ
УГРОЗЫ (10)
УГРОЗЫ (10)
ИНДЕКС КАЧЕСТВА ЖИЗНИ
ИНДЕКС
БЕЗОПАСНОСТИ
КВАТЕРНАЯ МОДЕЛЬ УСТОЙЧИВОГО
РАЗВИТИЯ 
Q  j I sec  I ql

5. ИССЛЕДОВАНИЕ ЯВЛЕНИЙ НА РАННИХ СТАДИЯХ СИСТЕМНОГО АНАЛИЗА
5
-0.6
-0.8
-0.9053
-0.9161
-0.9344
-0.9917
-1.0019
-1.0
-1.0903
Сред -1.2 -1.2266 -1.2057
-1.2684
-1.2084
а Объек -1.4 -1.4304
-1.3596
-1.4979
-1.5715
X1
т -1.6
-1.616
-1.7139
-1.7389
Упорядочивание
-1.7794
-1.8
-1.938
-2.0
-2.1431
-2.2
X1 X2 … Xm -2.4
Класс 1 Класс 2 Класс 3
BI BD TD CM UG ZW DZ SN CI LK
O  {o i }, i  1, n - выборка объектов
0.9
0.8
F1 Fm’ 0.7
Классификаци 0.6
я 0.5
Ie
0.4
F2 0.3
0.2
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
REST

6. ПОСТАНОВКА ЗАДАЧИ

7. ДАННЫЕ ДЛЯ ИССЛЕДОВАНИЯ
7
Индексы устойчивого развития Глобальные угрозы
Страна
N
GDP Q Iql Iec Ie Is Isec ES BB GINI GD CM CP WA GW SF
D
} 95 стран
n n
xi, j  X j  xi, j (xi, j  X j )2
i1
zi, j  X j  i 1 (X j ) 
(X j) n n
16 7
14 6
12
5
10
4
8
3
X2
X2
6
2
4
1
2
0
0
-1
-2
-4 -2 0 2 4 6 8 10 12 14 -2 -1 0 1 2 3 4 5 6
X1 X1

8. ЦЕЛЬ ИССЛЕДОВАНИЯ
8
ЭКОЛОГИЧЕСКАЯ
СОСТАВЛЯЮЩАЯ
ИНДЕКС
БЕЗОПАСНОСТИ СОЦИАЛЬНАЯ
СОСТАВЛЯЮЩАЯ
?
? ?
ГЛОБАЛЬНЫЕ
ГЛОБАЛЬНЫЕ
ГЛОБАЛЬНЫЕ
УГРОЗЫ (10)
УГРОЗЫ (10)
УГРОЗЫ (10)
?
? ЭКОНОМИЧЕСКАЯ
СОСТАВЛЯЮЩАЯ
ИНДЕКС
КАЧЕСТВА
ЖИЗНИ

9. БАЙЕСОВСКИЕ СЕТИ ДОВЕРИЯ

10. 10
СОВМЕЩЕНИЕ ЭКСПЕРТНЫХ ЗНАНИЙ И СТАТИСТИЧЕСКИХ ДАННЫХ
Объективные
Экспертиза Объект количественные
измерения
Причинно-
следственные БСД Статистические
связи данные

11. 11
ПРИМЕНЕНИЕ БСД
МЕДИЦИНА
PathFinder – 60 диагнозов
130 переменных
КОСМОС И ОБОРОНА
Центр управления полетами NASA
“Operation Dardanelles” (Австралия)
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
БСД
Microsoft Office
ОБРАБОТКА ИЗОБРАЖЕНИЙ
Восстановление 3D сцен
ЭКОНОМИКА И ФИНАНСЫ
Оценка риска и прогноза доходности
финансовых инструментов

12. 12
БСД – АЦИКЛИЧЕСКИЙ ГРАФ
x1 x2
P(x1) P(x2)
X
ЭФФЕКТ
ПРИЧИНА
Y
x1 x2
y1 P(y1|x1) P(y1|x2)
y2 P(y2|x1) P(y2|x2)

13. 13
БАЙЕСОВСКАЯ ВЕРОЯТНОСТЬ
вероятность
наступления априорная
события B при вероятность
истинности гипотезы гипотезы A
X Y A
A : X=x1 P ( B | A) P ( A)
P( A | B) 
B : Y= y1 P( B)
вероятность гипотезы A при
вероятность наступления
наступлении события B
(апостериорная вероятность) события B

14. 14
СОВМЕСТНАЯ ВЕРОЯТНОСТЬ СОБЫТИЙ
Пусть A1,A2, …, An - система несовместных событий, тогда
P( B | A j ) P( A j )
P( A j | B)  n
 P( A j ) P( A j | B)
i 1
n
P ( A1 , A2 ,..., An )   P ( Ai | parent ( Ai ))
i 1
Состояния всех
переменых-предков для
переменной Ai

15. Поливалка (S) 15
ПРИМЕР Дождь (R)
Rain True False
True False False 0.4 0.6
0.2 0.8 True 0.01 0.99
Поливалк
Дождь а
Газон мокрый (G)
Sprinkler Rain True False
Газон False False 0.0 1.0
мокрый
False True 0.8 0.2
True False 0.9 0.1
P(G, R, S )  P(G | S , R) P( S | R) P( R)
True True 0.99 0.01
P (G  True, R  True)
P ( R  True | G  True) 
P (G  True)
P(G  True, S  True, R  True)  P (G  True, S  False, R  True)
 
P (G  True, S  False, R  False)  P (G  True, S  False, R  True)  P (G  True, S  True, R  False )  P (G  True, S  True, R  True)
0.99 * 0.01* 0.2  0.8 * 0.99 * 0.2
  0.36
0 * 0.6 * 0.8  0.8 * 0.99 * 0.2  0.9 * 0.4 * 0.8  0.99 * 0.01* 0.2

16. СТАДИИ
16
ОПРЕДЕЛИТЬ ПЕРЕМЕННЫЕ
И
ПРИЧИННЫЕ СВЯЗИ
ЗАПОЛНИТЬ ТАБЛИЦЫ
ВЕРОЯТНОСТЕЙ
ПРОВЕСТИ МОДЕЛИРОВАНИЕ
ОБОБЩИТЬ РЕЗУЛЬТАТЫ

17. СИНТЕЗ БСД

18. 18
МЕТОДИКА ОЦЕНКИ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ ПОКАЗАТЕЛЕЙ
КОРРЕЛЯЦИОННЫЙ АНАЛИЗ ФАКТОРНЫЙ АНАЛИЗ ЭНТРОПИЙНЫЙ АНАЛИЗ
I (Xi )
Is ( Xi ) 
log 2 mi
H (Xi )  H (Xi | X k )
Is (X i; X k ) 
min H ( X i ), H ( X j ) 

19. ЭНТРОПИЙНЫЙ АНАЛИЗ ПЕРЕМЕННЫХ
19
СОБСТВЕННАЯ ИНФОРМАЦИЯ ПЕРЕМЕННОЙ - усредненная количественная оценка степени
неопределенности (неожиданности) наступления событий, связанных с тем, что переменная
j
Xi
принимает значение .xi
mi
I ( X i )  H ( X i )   P( X i  xij ) log2 P( X i  xij )
j 1
I ( X i )  I max  log 2 mi , i  1, n
I(Xi)
УДЕЛЬНАЯ ИНФОРМАТИВНОСТЬ ПЕРЕМЕННОЙ: Is ( X i ) 
log 2 mi
ВЗАИМНАЯ ИНФОРМАЦИЯ ПЕРЕМЕННЫХ - статистическая функция двух
случайных величин, определяющая количество информации, содержащейся в одной
случайной величине относительно другой.
I(Xi; X k )  H (Xi )  H (Xi | X k )
H (Xi | X k )  H (Xi X k )  H (X k )
I ( X i ; X j )  minH ( X i ), H ( X j )
H(Xi )  H(Xi | Xk )
УДЕЛЬНАЯ ВЗАИМНАЯ ИНФОРМАТИВНОСТЬ: Is (Xi; X k ) 
min H ( X i ), H ( X j ) 

20. 20
УДЕЛЬНАЯ ИНФОРМАТИВНОСТЬ ПЕРЕМЕННЫХ
Переменная Удельная информативность
GDP 0.57
Q 0.94
Iql 0.96
Iec 0.87
Ie 0.90
Is 0.95
Isec 0.88
ES 0.54
BB 0.69
GINI 0.80
GD 0.96
CM 0.73
CP 0.93
WA 0.52
GW 0.67
SF 0.73
ND 0.10

21. 21
МАТРИЦА УДЕЛЬНОЙ ВЗАИМНОЙ ИНФОРМАТИВНОСТИ
Глобальные Показатели устойчивого развития
угрозы GDP Q Iql Iec Ie Is Isec
ES 0.15 0.33 0.28 0.21 0.18 0.24 0.25
BB 0.23 0.26 0.25 0.21 0.17 0.30 0.25
GINI 0.17 0.06 0.10 0.08 0.04 0.15 0.08
GD 0.27 0.30 0.28 0.21 0.24 0.28 0.26
CM 0.18 0.47 0.42 0.24 0.38 0.42 0.30
CP 0.54 0.47 0.46 0.51 0.19 0.35 0.36
WA 0.14 0.46 0.39 0.22 0.32 0.36 0.40
GW 0.54 0.26 0.35 0.33 0.17 0.38 0.16
SF 0.08 0.13 0.09 0.09 0.07 0.07 0.13

22. Глобальные Показатели устойчивого развития
22
ГРАФ БСД угрозы GDP Q Iql Iec Ie Is Isec
ES 0.15 0.33 0.28 0.21 0.18 0.24 0.25
BB 0.23 0.26 0.25 0.21 0.17 0.30 0.25
GINI 0.17 0.06 0.10 0.08 0.04 0.15 0.08
GD 0.27 0.30 0.28 0.21 0.24 0.28 0.26
CM 0.18 0.47 0.42 0.24 0.38 0.42 0.30
CP 0.54 0.47 0.46 0.51 0.19 0.35 0.36
WA 0.14 0.46 0.39 0.22 0.32 0.36 0.40
GW 0.54 0.26 0.35 0.33 0.17 0.38 0.16
SF 0.08 0.13 0.09 0.09 0.07 0.07 0.13

23. 23
ДИСКРЕТИЗАЦИЯ ИСХОДНЫХ ДАННЫХ
Дискретные значения
Переменная Low Medium High
GDP 0.75<= (0.75, 2.51] >2.51
Q -1.06<= (-1.06, 0.37] >0.37
Iql -0.82<= (-0.82, 0.56] >0.56
Iec -0.74<= (-0.7, 40.71] >0.71
Ie -0.95<= (-0.95, 0.47] >0.47
Is -1.01<= (-1.01, 0.29] >0.29
ES 0.78<= (0.78, 2.42] >2.42
GD -0.99<= (-0.99, 0.32] >0.32
CM -1.58<= (-1.58, -0.36] >-0.36
CP -0.12<= (-0.12, 1.01] >1.01
WA -2.62<= (-2.62, -0.95] >-0.95
GW -2.34<= (-2.34, -0.65] >-0.65

24. МОДЕЛИРОВАНИЕ

25. 24
ПРОГРАММЫ ДЛЯ МОДЕЛИРОВАНИЯ БСД

26. 25
ВЕРОЯТНОСТНЫЙ ВЫВОД В БСД
Гипотезы
CM=High, p=0.99
WA=High, p=0.99
Is=High, p=0.95
Свидетельства
Iql=High & Isec=High

27. 26
ТИПЫ ГИПОТЕЗ
ТИП 1
E i
GDP
j k l

: ( I GDP  xi ), E Iq : ( I q  x j ), Esec : ( I sec  xk ), EIql : ( I ql  xl ) , i, j , k , l  0,3 ,
i, j , k , l  0,3, xi , x j , xk xl  Undefined , Low, Medium, High ,
Свидетельства Гипотезы
Значения индексов Значения глобальных
устойчивого развития угроз
ТИП 2
E i
CM
j k l
: (CM  xi ), ECP : (CP  x j ), EWA : (WA  xk ), H GW : (GW  xl ) , 
i, j , k , l  0,3, xi , x j , xk xl  Undefined , Low, Medium, High
Свидетельства Гипотезы
Значения глобальных Значения индексов
угроз устойчивого развития
ВСЕГО: 512 СТРОК В ТАБЛИЦЕ РЕЗУЛЬТАТОВ
МОДЕЛИРОВАНИЯ

28. ОБОБЩЕНИЕ РЕЗУЛЬТАТОВ
МОДЕЛИРОВАНИЯ

29. 29
МЕТОД ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ
Q=“High”  ES=“Low”
512 -> 85

30. 30
ПРОВЕРКА ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ МОДЕЛИРОВАНИЯ
5
4
Q=“High”  ES=“Low”
3
2 0.6 Венгрия
ES
1
0.4
0.2 Коста-Р
0
Бразилия
0.0
Нидерланды
-1
Латвия Новая Зеландия
Уругвай
-0.2
Колумбия
Пан Швеция
-2
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0
Дания
Q Чил Австрия Финляндия
-0.4
Швейцария
Греция ХорватияЭстония
Португалия
Великобритания
ES
-0.6 Лит Словения
Чехия
Польш Италия Испания Германия Франция
США
Израил Словакия Бельгия Япония
Ирландия
-0.8 Люксембург
-1.0
-1.2
-1.4
-1.6
-1.8
-2.0
0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
Q

31. 31
ПРОВЕРКА ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ МОДЕЛИРОВАНИЯ
3
Канад Если показатели качества и
Норвегия
Швеция
2
Австралия
Дания
Новая Зеландия
Финляндия
безопасности жизни людей имеют
Уругвай
Франция
Швейцария
низкий или средний уровень, то
1
Хорватия
Испания
Чил
Коста-Р Люксембург
Австрия
Нидерланды
Словения Германия
для таких стран наблюдается
ИталияВеликобритания
ПортугалияИрландия
Туниc
Бразилия
Лит Япония
Бельгия
Польш Словакия
Эстония
высокая уязвимость к влиянию
Вьетн
Египет Иордания Колумбия Латвия
Намибия Перу
МексПан
Греция
Доминиканская РеспублВенгрия
Болгария Израил
Албания Чехия
РоссияАргентин
Малайзия
США
коррупции. Если хотя бы один из
Ямай
этих показателей имеет высокое
Isec
0 Гондурас
МолдГватемал
Таиланд
Ал
Ботсван
Босния и Герцеговин Южная Корея
Ель Сальвад
Бенин
Сенегал
Камерун
Боливия
Индия Индонезия
Непал
Китай
Турция
Еквад
Тринидад и Тобаг
Румыния
значение, то это связано со
Танзания
-1
Бангладеш
Казахстан
Таджикистан
Украин
Никарагу
Азербайджан Грузия снижением уязвимости к влиянию
Замбия
Пакистан Киргизия Венесуел
Кения ЮА Р
Камбод
Армения
коррупции.
Нигерия
-2 Узбекистан
Эфиопия
Мозамб
Low
Medium
-3 High
-2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5
Iql

32. 32
ПРОВЕРКА ОБОБЩЕНИЯ РЕЗУЛЬТАТОВ МОДЕЛИРОВАНИЯ
2.4
2.2 Швеция
Дания
Финляндия
Швейцария
2.0 Нидерланды
Австралия
Канад
1.8
Люксембург
Австрия
1.6
Германия Норвегия
Великобритания Ирландия
1.4
Япония
Бельгия США
CP
1.2
Франция
1.0
Испания
0.8
Израил
0.6
0.4
0.2
Для стран с высоким уровнем GDP
Италия
0.0
наблюдается низкий уровень
1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5
уязвимости к коррупции
5.0
GDP per capita

33. ВЫВОДЫ

34. МЕТОДИКА АНАЛИЗА ПРИЧИННО-СЛЕДСТВЕННЫХ ОТНОШЕНИЙ МЕЖДУ 34
ФАКТОРАМИ И ПОКАЗАТЕЛЯМИ УСТОЙЧИВОГО РАЗВИТИЯ
Экспертная модель причинно-
следственных отношений
Синтез Байесовской сети Моделировани
доверия е
Выборка данных
В частности, для стран с высокими значениями
В частности, для стран с высокими значениями
индексов устойчивого развития Q(Ie,Iec,Is)
индексов устойчивого развития Q(Ie,Iec,Is)
характерны высокие значения подиндексов
характерны высокие значения подиндексов
экономического (Ie) и социального (Is) развития
экономического (Ie) и социального (Is) развития
(строки 1-10). Также можно говорить о том, что
(строки 1-10). Также можно говорить о том, что
Обобщение
высокий уровень защищенности от детской
высокий уровень защищенности от детской
смертности наблюдается в тех странах, для
смертности наблюдается в тех странах, для
результатов
которых характерными являются высокие или
которых характерными являются высокие или
средние показатели индексов устойчивого
средние показатели индексов устойчивого
развития, качества жизни (Iql) и безопасности
развития, качества жизни (Iql) и безопасности
жизни (Isec) (строки 12-16).
жизни (Isec) (строки 12-16).

35. ИНФОРМАЦИЯ О ДОКЛАДЧИКЕ
БОЛДАК АНДРЕЙ АЛЕКСАНДРОВИЧ
к.т.н., доцент кафедры вычислительной техники НТУУ
«КПИ», с.н.с. Мирового центра данных по
геоинформатике и устойчивому развитию.
Адрес электронной почты: boldak@wdc.org.ua
ОБЛАСТЬ НАУЧНЫХ ИНТЕРЕСОВ
Применение формальных методов многомерного статистического
анализа и причинно-следственных моделей для анализа процессов
устойчивого развития, проблемы согласования данных различной
природы в рамках информационных системных моделей,
проектирование и разработка распределенных информационных
систем.