SlideShare a Scribd company logo
1 of 14
СодержательныйСодержательный
подход к измерениюподход к измерению
информации.информации.
Формула
Шеннона.
Информация для человекаИнформация для человека –
это мера уменьшения
неопределенности знаний.
Единица количестваЕдиница количества
информации, котороеинформации, которое
содержит сообщение,содержит сообщение,
уменьшающееуменьшающее
неопределенность в дванеопределенность в два
раза.раза.
Вероятность иВероятность и
информация.информация.
СобытияСобытия
равновероятныравновероятны,,
если ни одно из
них не имеет
преимущества
перед другими.
Выпадение орла
или решки при
бросании монеты.
Выпадение одной
из шести граней
кубика.
Выпадение шара
при розыгрыше
лотереи.
Вероятность иВероятность и
информация.информация.
СобытияСобытия
неравновероятннеравновероятн
ыы,, если одно из
событий имеет
преимущества
перед другими.
Выпадение дождя
или снега летом.
Получение
пятерки и двойки
для ученика –
отличника.
Выпадение грани
при бросании
несимметричной
монеты.
КоличествоКоличество
информацииинформации
Если событияЕсли события
равновероятны, то:равновероятны, то:
I = LogI = Log22 NNI = LogI = Log22 NN
I – количество
информации
N – количество
возможных
событий
Формула
получена
Ричардом
Хартли
(1928 год).
КоличествоКоличество
информацииинформации
Если событияЕсли события
неравновероятны, то:неравновероятны, то:
I – количество
информации
N – количество
возможных событий
Формула
получена
Клодом
Шенноном
(1948
год).
I = -I = - PPii ** LogLog22PPii
∑=
N
1i
Pi – вероятность i-го события
ВероятностьВероятность
ii - го события- го события
Pi – вероятность i-го
события – численная
мера объективной
возможности появления
этого события.
PPii ==
mm
nn
m – число
элементарных
событий,
благоприятствующих
этому событию.
n – общее число всех
элементарных
событий.
Объявляются оценки экзамена по
информатике (2, 3, 4 или 5).
Какое количество информации
будет нести сообщение об оценке
учащегося А, который выучил
половину билетов, и сообщение об
оценке учащегося В, который
выучил все билеты.
1. Опыт показывает, что
для учащегося A все четыре
оценки (события)
равновероятны и тогда
количество информации,
которое несет сообщение
об оценке можно вычислить
по формуле Хартли:
I = LogI = Log22 NN == LogLog22 4 = 2 бит.4 = 2 бит.
Ответ:Ответ: II (А)(А)== 2 бит2 бит
2. На основании опыта можно
также предположить, что для
учащегося B наиболее
вероятной оценкой является
«5». Вероятность оценки «4» в
два раза меньше, а
вероятности оценок «2» и «3»
еще в два раза меньше.
P1 = 1 / 2 P2 = 1 / 4
P3 = Р4 = 1 / 8
3. Так как события
неравновероятны, воспользуемся
для подсчета количества
информации в сообщении формулой
Шеннона:
I = -(1/2*log21/2 +
1/4*log21/4 + 1/8*log21/8
+ 1/8*log21/8)
Ответ:Ответ: II (В)(В)== 1,75 бит1,75 бит
В непрозрачном мешочке хранятся
10 белых, 20 красных, 30 синих и
40 зеленых шариков.
Какое количество информации
будет содержать зрительное
сообщение о цвете вынутого
шарика.
Ответ:Ответ:
I =I = 1,85 бит1,85 бит
Какое количество вопросов
достаточно задать вашему
собеседнику, чтобы точно
определить день и месяц его
рождения?
Ответ:Ответ: 5 вопросов о дне5 вопросов о дне
4 вопроса о месяце4 вопроса о месяце

More Related Content

Viewers also liked

Viewers also liked (7)

Employing Workforce Analytics to Measure and Drive Engagement
Employing Workforce Analytics to Measure and Drive EngagementEmploying Workforce Analytics to Measure and Drive Engagement
Employing Workforce Analytics to Measure and Drive Engagement
 
Celebrate – Lessons Learned from the World's Most Admired Organisations
Celebrate – Lessons Learned from the World's Most Admired Organisations Celebrate – Lessons Learned from the World's Most Admired Organisations
Celebrate – Lessons Learned from the World's Most Admired Organisations
 
Dispelling the Myth of Corporate Health and Wellness Programmes
Dispelling the Myth of Corporate Health and Wellness ProgrammesDispelling the Myth of Corporate Health and Wellness Programmes
Dispelling the Myth of Corporate Health and Wellness Programmes
 
Emirati Youth Forum 2015 Survey Results
Emirati Youth Forum 2015 Survey ResultsEmirati Youth Forum 2015 Survey Results
Emirati Youth Forum 2015 Survey Results
 
Achieving Exceptional Strategy Execution with Business Simulations and Experi...
Achieving Exceptional Strategy Execution with Business Simulations and Experi...Achieving Exceptional Strategy Execution with Business Simulations and Experi...
Achieving Exceptional Strategy Execution with Business Simulations and Experi...
 
Employee Engagement: From a Big Corporate Buzzword to Practical Implementation
Employee Engagement: From a Big Corporate Buzzword to Practical ImplementationEmployee Engagement: From a Big Corporate Buzzword to Practical Implementation
Employee Engagement: From a Big Corporate Buzzword to Practical Implementation
 
Kundo Produktöversikt
Kundo   ProduktöversiktKundo   Produktöversikt
Kundo Produktöversikt
 

Similar to Формула Шеннона

вероятностный подход
вероятностный подходвероятностный подход
вероятностный подход
savelzal
 
количество информации как мера уменьшения неопределенности
количество информации как мера уменьшения неопределенностиколичество информации как мера уменьшения неопределенности
количество информации как мера уменьшения неопределенности
МБОУ Гатчинская СОШ № 2
 
неравновероятные события
неравновероятные событиянеравновероятные события
неравновероятные события
Елена Ключева
 

Similar to Формула Шеннона (6)

содержательный подход
содержательный подходсодержательный подход
содержательный подход
 
вероятностный подход
вероятностный подходвероятностный подход
вероятностный подход
 
Izmer inf sod_pod
Izmer inf sod_podIzmer inf sod_pod
Izmer inf sod_pod
 
количество информации как мера уменьшения неопределенности
количество информации как мера уменьшения неопределенностиколичество информации как мера уменьшения неопределенности
количество информации как мера уменьшения неопределенности
 
содержательный подход
содержательный подходсодержательный подход
содержательный подход
 
неравновероятные события
неравновероятные событиянеравновероятные события
неравновероятные события
 

Формула Шеннона