Формулы полной вероятности и Байеса

1. Лекция 3. Формулы полной вероятности и Байеса.
Курбацкий А. Н.
МШЭ МГУ
15 сентября 2016
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 1 / 11

2. Содержание
1 Полная система событий
2 Формула полной вероятности
3 Формула Байеса
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 2 / 11

3. Полная система событий
На практике нам часто известны именно условные вероятности
интересующего нас события A и по ним надо восстановить
безусловную вероятность P(A). Это можно сделать с помощью
формулы полной вероятности. Для задания этой формулы нам
понадобится дополнительное понятие - полная система событий.
Определение
Система подмножеств H1, H2, H3, . . . , Hn пространства элементарных
исходов называется полной системой событий если выполнены два
условия:
1. H1 ∪ H2 ∪ . . . ∪ Hn = Ω, то есть объединение всех подмножеств дает
все пространство элементарных исходов.
2. Пересечение любых двух различных множеств из системы H1, H2,
H3, . . . , Hn равно пустому множеству.
Множества H1, H2, H3, . . . , Hn часто именуют гипотезами. Отсюда и
обозначение H (от английского Hypothesis).
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 3 / 11

4. Пример
Пример
В случайном эксперименте игральную кость бросают дважды.
Определим событие H1 как выпадение одинакового число очков на
каждой кости, а событие H2 - выпадение разного число очков при
первом и втором броске. Ясно, что гипотезы H1, H2 образуют полную
систему событий.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 4 / 11

5. Пример
Пример
В случайном эксперименте игральную кость бросают дважды.
Определим событие H1 как выпадение одинакового число очков на
каждой кости, а событие H2 - выпадение разного число очков при
первом и втором броске. Ясно, что гипотезы H1, H2 образуют полную
систему событий.
Вопрос: Можно ли определить полную систему событий вэтом
эксперименте по-другому? Какое максимальное число событий
возможно при этом?
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 4 / 11

6. Пример
Пример
В случайном эксперименте игральную кость бросают дважды.
Определим событие H1 как выпадение одинакового число очков на
каждой кости, а событие H2 - выпадение разного число очков при
первом и втором броске. Ясно, что гипотезы H1, H2 образуют полную
систему событий.
Вопрос: Можно ли определить полную систему событий вэтом
эксперименте по-другому? Какое максимальное число событий
возможно при этом?
Ответ: Конечно, 36.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 4 / 11

7. Задача
В случайном эксперименте монету подбрасывают дважды. Пусть
событие H1 - выпала хотя бы одна решка, а событие H2 - выпал хотя
бы один орел. Образуют ли события H1 и H2 полную систему событий?
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 5 / 11

8. Задача
В случайном эксперименте монету подбрасывают дважды. Пусть
событие H1 - выпала хотя бы одна решка, а событие H2 - выпал хотя
бы один орел. Образуют ли события H1 и H2 полную систему событий?
Решение
Решение. Событие H1 включает три элементарных исхода
H1 = {рр, ро, ор}. Событие H2 также включает три исхода
H2 = {oo, ро, ор}. Их объединение дает все пространство
элементарных исходов Ω, но пересечение H1, H2 не равно пустому
множеству, так как H1 ∩ H2= {ро, ор}. Следовательно H1, H2 не
являются полной системой событий.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 5 / 11

9. Формула полной вероятности
Теорема
Пусть H1, H2, H3, . . . , Hn - полная система событий и все P(Hi ) не
равны нулю. Тогда справедлива следующая формула:
P(A) = P(A|H1)P(H1) + P(A|H2)P(H2) + . . . + P(A|Hn)P(Hn)
Ее называют формулой полной вероятности.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 6 / 11

10. Формула полной вероятности
Теорема
Пусть H1, H2, H3, . . . , Hn - полная система событий и все P(Hi ) не
равны нулю. Тогда справедлива следующая формула:
P(A) = P(A|H1)P(H1) + P(A|H2)P(H2) + . . . + P(A|Hn)P(Hn)
Ее называют формулой полной вероятности.
Задача
Докажите её.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 6 / 11

11. Задача
В операционном отделе банка работает 90% опытных сотрудников и
10% неопытных. Вероятность совершения ошибки при очередной
банковской операции опытным сотрудником равна 0.01, а вероятность
совершения подобной ошибки неопытным сотрудником в двадцать раз
больше. Чему равна вероятность совершения ошибки A при очередной
банковской операции в этом отделе?
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 7 / 11

12. Задача
В операционном отделе банка работает 90% опытных сотрудников и
10% неопытных. Вероятность совершения ошибки при очередной
банковской операции опытным сотрудником равна 0.01, а вероятность
совершения подобной ошибки неопытным сотрудником в двадцать раз
больше. Чему равна вероятность совершения ошибки A при очередной
банковской операции в этом отделе?
Решение
Пусть H1 - событие: операция попала к опытному сотруднику, H2 - к
неопытному.
Нам дано, что P(A|H1) = 0.01 у опытных и P(A|H2) = 0.2 у неопытных
сотрудников. Если все сотрудники отдела работают ”на равных”, то с
вероятностью P(H1) = 0.9 она попадет к опытному сотруднику, и с
вероятностью P(H2) = 0.1 - попадет неопытному сотруднику.
Согласно формуле полной вероятности:
P(A) = P(A|H1) · P(H1) + P(A|H2) · P(H2) = 0.01 · 0.9 + 0.2 · 0.1 = 0.029.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 7 / 11

13. Формула Байеса
Вероятности P(H1), P(H2), P(H3), . . . , P(Hn) называются
априорными, то есть назначенными до проведения случайного
эксперимента. После получения дополнительной информации в ходе
проведения случайного эксперимента вероятности меняются! То есть
требуется вычисление новых вероятностей P(Hi |A), при условии того,
что произошло некоторое событие A.
Вероятности P(Hi |A) называют апостериорными, то есть полученными
в результате опыта.
Теорема
Если H1, H2, H3, . . . , Hn полная система событий, а вероятность
события A не равна нулю, то:
P(Hi |A) =
P(A|Hi )P(Hi )
P(A|H1)P(H1) + P(A|H2)P(H2) + . . . + P(A|Hn)P(Hn)
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 8 / 11

14. Пример на обе формулы
Задача
В салоне связи было проведено исследование продаж розовых
телефонов. Выяснилось, что посетители женщины этот телефон
покупают в 55% случаях, мужчины – в 5% случаях и дети – в 15%
случаях. Среди посетителей салона 50% женщин, 40% мужчин и 10%
детей. Найти вероятность того, что случайный покупатель приобретет
этот товар.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 9 / 11

15. Пример на обе формулы
Задача
В салоне связи было проведено исследование продаж розовых
телефонов. Выяснилось, что посетители женщины этот телефон
покупают в 55% случаях, мужчины – в 5% случаях и дети – в 15%
случаях. Среди посетителей салона 50% женщин, 40% мужчин и 10%
детей. Найти вероятность того, что случайный покупатель приобретет
этот товар.
Решение
Решение. Рассмотрим события A={куплен розовый телефон},
H1={посетителем была женщина}, H2={посетителем был мужчина} и
H3={посетителем был ребенок}. По условию даны вероятности
P(H1) = 0.5, P(H2) = 0.4, P(H3) = 0.1, P(A|H1) = 0.55,
P(A|H2) = 0.05, P(A|H3) = 0.15. По формуле полной вероятности
находим
P(A) = P(A|H1)P(H1) + P(A|H2)P(H2) + P(A|H3)P(H3) =
0.55 · 0.5 + 0.55 · 0.5 + 0.4 · 0.05 + 0.1 · 0.15 = 0.31.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 9 / 11

16. Пример на обе формулы
Задача
В условиях предыдущей задачи найти вероятность того, что
покупателем приобретенного товара является женщина.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 10 / 11

17. Пример на обе формулы
Задача
В условиях предыдущей задачи найти вероятность того, что
покупателем приобретенного товара является женщина.
Решение
Чтобы найти вероятность P(H1|A), воспользуемся формулой Байеса
P(H1|A) =
P(A|H1)P(H1)
P(A|H1)P(H1) + P(A|H2)P(H2) + P(A|H3)P(H3)
=
=
0.55 · 0.5
0.31
≈ 0.887.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 10 / 11

18. Парадокс теоремы Байеса (Википедия)
Задача
При рентгеновском обследовании вероятность обнаружить заболевание
туберкулёзом у больного равна 0.9, вероятность принять здорового
человека за больного равна 0.01. Доля больных туберкулёзом по
отношению ко всему населению равна 0.001. Найти вероятность того,
что случайный человек здоров, если он был признан больным при
обследовании.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 11 / 11

19. Парадокс теоремы Байеса (Википедия)
Задача
При рентгеновском обследовании вероятность обнаружить заболевание
туберкулёзом у больного равна 0.9, вероятность принять здорового
человека за больного равна 0.01. Доля больных туберкулёзом по
отношению ко всему населению равна 0.001. Найти вероятность того,
что случайный человек здоров, если он был признан больным при
обследовании.
Решение
Самостоятельно!
Окажется, что 91.7 % людей, у которых обследование показало
результат «болен», на самом деле здоровые люди. Удивительный
результат возникает по причине того, что вероятность тубуркулёза у
случайного человека слишком мала (а если человек взят с
подозрением на тубуркулёз, то вероятность, конечно, изменится).
Поэтому лучше всего сделать повторное рентгеновское обследование.
Курбацкий А. Н. (МШЭ МГУ) Теория вероятностей. Формула Байеса 15 сентября 2016 11 / 11