Concept of information

1. INFORMACE

2. Tři přístupy k pojmu informace
M. Buckland vychází ze vztahů mezi znalostmi, objekty a
procesy a rozlišuje 3 pohledy:
 Informace jako znalost
je objektem informace jako procesu. Jde o entitu, nikoliv
proces. Znalosti, názory, víra .. nelze se jich přímo dotknout.
 Informace jako dokument
hmatatelná entita, dokument. Jde o fixovanou informaci,
informaci v určité materiální reprezentaci.
 Informace jako proces
někdo někoho informuje, sděluje mu zprávu. Závisí na
kontextu.

3. Čtyři aspekty informace (Buckland)
Znalost
Sdělení Zpracování dat
DokumentVĚC
PROCES
NEHMOTNÁ HMOTNÁ

4. Shannonovo chápání informace
 Komunikační schéma:
odesílatel - kódování - kanál (médium) - kódování - příjemce
 Odhlíží od předchozích znalostí příjemce, od sémantického obsahu
informace.
 Máme-li dvě (stejně pravděpodobné) možnosti a víme, že platí jedna
z nich, dostáváme informaci o velikosti - 1 bit
 Paradox – je třeba odhlédnout od smyslu zpráv, pak zbude forma,
kterou lze popsat jako posloupnost dovolených stavů.
 Čím větší překvapení ve zprávě, tím větší je hodnota informace.

5. Entropie
• Entropie je míra neurčitosti (neuspořádanosti) systému.
Pokud vyjádříme entropii pomocí pravděpodobnosti,
dostaneme maximální entropii při hodnotě 50%.
• Normální (Gaussovo) rozdělení pravděpodobnosti má
nejvyšší entropii – systém se chová zcela náhodně.
• Sekvence náhodných čísel má maximální míru entropie.

6. Informace
• Informace snižuje nebo odstraňuje neurčitost systému.
• Informace je míra uspořádanosti systému, čím je systém
uspořádanější, tím nese větší informaci. Informace a entropie
jsou tedy funkce, které se liší znaménkem.
• Množství informace v systému je dáno rozdílem mezi stavem
neurčitosti systému (entropie), kterou měl systém před přijetím
informace a stavem neurčitosti, která se přijetím informace
odstranila.
• V tomto smyslu může být informace považována za vlastnost
organizované hmoty.

7. Claude Elwood Shannon
(1916 - 2001)
 Matematik a inženýr, jeden ze zakladatelů teorie informace.
 Uvědomil si, že stavy relé mohou odpovídat pravdivostním hodnotám
v Booleově algebře, použil ji pro návrh relé sítí.
 Ukázal, že libovolnou formuli Booleovy algebry lze implementovat ve formě
kombinačního (tranzistorového) obvodu.
 Za války v Bellových laboratořích pracoval na vývoji přístrojů protiletecké palby.
 V r. 48 napsal „A mathematical theory of communication“
 je třeba abstrahovat od významu informace, informace odstraňuje neurčitost.
 Poprvé použil termín bit – binary digit.
 V 45 letech zanechal aktivní vědecké činnosti.

8. Shannonova definice informace
Zavedeme tyto termíny:
• abeceda ... množina všech symbolů
• zpráva ... jakákoliv posloupnost symbolů
Pak počet možných zpráv .. N délky .. n
nad abecedou s celkovým počtem symbolů ..s je
A: {0,1} tedy s=2
n = 1  N=2, I=1 ... přenos informace o velikosti 1 bitu
n = 2  N=4, I=2 ... přenos informace o velikosti 2 bity
n = 8  N=256, I=8 ... přenos informace o velikosti 8 bitů = 1 byte
(všechny zprávy mají stejnou pravděpodobnost)
n
sN NI 2log [ bit ]