Semantyczna teoria informacji 2

Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC) - cd.
Krytyka teorii BHC w pracach L. Floridiego
Krytyka teorii BHC w pracy Hintikki

Filozoﬁa Informacji, Wykład IV - Semantyczna
teoria informacji (cz. 2).
Artur Machlarz

17 stycznia 2014

Artur Machlarz

Filozoﬁa Informacji, Wykład IV - Semantyczna teoria informacji (cz. 2).


Plan wykładu

1

cont i inf jako miara informatywności
Własności cont i inf - porównanie
Zastosowanie teorii BHC
Podsumowanie teorii BHC

2

Tzw. paradoks teorii BHC
Informatywność praw logicznych

3


Artur Machlarz




Logiczna funkcja m

Właściwa teoria informacji semantycznej i określenie miary
informatywności w teorii BHC zaczyna się wraz z wyborem funkcji
określającej interpretację prawdopodobieństwa, które pojawia się w
deﬁnicji miary informatywności. W teorii BHC funkcja ta musi określać a
priori tę wartość dla wszystkich elementów L. Do tego celu służy w teorii
BHC pojęcie m-funkcji właściwej.

Artur Machlarz




Logiczna funkcja m

Pojęcie m-funkcji pochodzi z Carnapa Logical Foundations of Probability
(Chicago 1950). Funkcja ta określa wartość aprioryczną
prawdopodobieństwa statycznego alternatywnych stanów rzeczy w danej
dziedzinie. Prawdopodobieństwo w przypadku m-funkcji w teorii
informacji jest rozłożone symetrycznie na wszystkie logicznie możliwe
stany rzeczy tak, że suma wartości m-funkcji dla całego zbioru jest równa
1.

Artur Machlarz




Logiczna funkcja m - deﬁnicja

Ta funkcja jest zdeﬁniowana logicznie, jako spełniająca szereg warunków:
Musi być większa niż 0 dla dowolnej klasy opisów stanów.
Suma wszystkich m-wartości = 1.
Dla dowolnego L-fałszywego zdania j, m(j) = 0.
Dla dowolnego nie-L-fałszywego zdania j, m(j) = sumie m-wartości
dla klasy opisów stanów w R(j).
Pozostałe własności - na wykładzie.

Artur Machlarz




Logiczna funkcja m - uwagi

M-funkcja właściwa jest logiczną funkcją rozkładającą po równo
prawdopodobieństwo na wszystkie elementy zbioru. Nie uwzględnia się
przy tym żadnego rodzaju realnych warunków typu:
stopień potwierdzenia,
częstotliwość występowania,
inne dowody wspierające poszczególne elementy zbioru,
a tym bardziej wiarygodność źródła...
Interesują nas wyłącznie syntaktyczne możliwości naszego języka. To one
wyznaczają ilość możliwych stanów rzeczy - jednoznacznie określają całą
semantykę.

Artur Machlarz




cont - deﬁnicja

Przy użyciu m-funkcji defniuje się nastęnie miarę treści (cont):
cont(i) = mp (∼ i)
Innymi słowy: treści jest tyle, ile wynosi prawdopodobieństwo zdań
będących dopełnieniem zakresu zdania i.

Artur Machlarz




cont - własności

Najważniejsze własności cont:
1

cont(i)

0

cont(i) = 0 wtw i jest L-prawdziwe,
cont(i) = 1 wtw i jest L-fałszywe,
1 > cont(i) > 0 wtw i jest faktualne.
cont(i.j) = cont(i) + cont (j) wtw i oraz j są L-rozłączne, czyli
dedukcyjnie niezależne.

Artur Machlarz




cont - jeszcze jedna ciekawa własność

Kolejna własność cont:
Dla dowolnych dwóch zdań bazowych Bi oraz Bj z różnymi prostymi
predykatami, cont(Bj /Bi ) = 1/2cont(Bi ). Np. cont(Da/Za) = 1/4.

Artur Machlarz





Ćwiczenie: jaki sens ma ta własność?

Artur Machlarz





Ćwiczenie: jaki sens ma ta własność? Jeśli odbiorca otrzymuje n-ilość
kolejno następujących po sobie zdań bazowych, z n-ilością odmiennych
predykatów, to wartość cont pierwszego wyniesie 1/2, drugiego: 1/4,
trzeciego: 1/8 itd.

Artur Machlarz




cont - czego brakuje?
Czy potrzebujemy czegoś jeszcze?
1

Zgodnie z przedostatnią z wymienionych własności, wartości treści i
oraz j są dodawalne o ile i oraz j są rozłączne: nie implikują tych
samych zdań. Ten warunek jest jednak dla BHC niewystarczający.
Wg BHC należy uwzględnić ich indukcyjną a nie dedukcyjną
niezależność.

2

Jeśli weźmiemy zdania bazowe traktowane jako niezależne
dedukcyjnie i indukcyjnie, to własność wymieniona jako ostatnia,
wydaje się nieadekwatna, bo nie powinna zależeń od idealnego
odbiorcy.

Wyjaśnienie: niezależność indukcyjna polega tutaj na tym, że
prawdopodobieństwo warunkowe zdań bazowych i/j będzie równe
bezwzględnemu prawdopodobieństwu i.

Artur Machlarz




inf - deﬁnicja

inf (funkcja pomiaru ilości informacji przypadającej na zdanie):
1
inf (i) = log 1−cont(i)

ewentualnie:
1
inf (i) = log cont(−i)

Artur Machlarz




inf - warunek dodawalnośi

Funkcja cont nie spełnia warunku dodawalności, który to warunek jest
spełniony przez inf:
inf (i.j) = inf (i) + inf (j) wtw i oraz j są indukcyjnie niezależne.
Dowolne dwa zdania bazowe, mają wspólny zakres: np. alternatywę tych
zdań, która logicznie wynika tak z jednego jak i z drugiego. Nie są zatem
rozłączne logicznie, są zaś niezależne indukcyjnie.

Artur Machlarz




Funkcja inf - własności

Najważniejsze pozostałe własności inf:
0 ≤ inf (i) ≤ ∞
inf(i) = 0 wtw i jest L-prawdziwe
inf(i) = ∞ wtw i jest L-fałszywe
inf(i) ma dodatnią skończoną wartość wtw i jest faktualne.

Artur Machlarz




Czym różnią się cont i inf?

inf spełnia warunek dodawalności.
inf dla kontrtautologii uzyskuje wartość maksymalną - tzn.
nieskończoną (dla cont maximum jest 1).
L-rozłączność (czyli dedukcyjną niezależność) w cont zastępuje
indukcyjna niezależność w inf.
dla dowolnego zdania atomowego cont=1/2, inf=1.

Artur Machlarz





Według Bar Hillela:
teoria informacji semantycznej w zarysowanym kształcie może być
rozszerzona w kierunku teorii pragmatycznej a ograniczenie do
zamkniętego systemu językowego da się “z łatwością” pokonać.
zarysowana teoria może być wartościowa dla teorii projektowania
eksperymentów (DOE) oraz
teorii testów.

Artur Machlarz




Przykład teoretycznego zastosowania BHC
Według Bar Hillela inf może służyć jako definicja informatywności
hipotezy w świetle określonego stopnia potwierdzenia:
1
inf (h, e) = log cp (h,e) ,

gdzie nowa funkcja konfirmacji c mająca postać prawdopodobieństwa
warunkowego cp (h, e) określająca stopień potwierdzenia hipotezy h w
świetle potwierdzenia e może być zdefiniowana przez m-funkcję właściwą
przy pomocy prawdopodobieństwa warunkowego:
cp (h, e) =

Artur Machlarz

mp (e.h)
mp (e)





To twierdzenie pokazuje silną zależność między relatywną miarą
informacji nowej wiadomości h ze względu na dowód e - tzn. względne
prawdopodobieństwo indukcyjne hipotezy h w kontekście dowodu e. h i e
mogą być ewentualnie interpretowane jako (nowa) wiadomość i wiedza.
Widać wyraźnie, że wartość informacyjna inf(h/e) jest tym większa, im
mniej prawdopodobne jest h ze względu na dowód e.

Artur Machlarz





Funkcja konﬁrmacji wyraża stopień potwierdzenia jakiegoś zdania przez
inne zdania. Przykład dla języka L2 :
2
załóżmy, że p(e) = 1/2 a p(h) = 1/8 ;
wtedy: cp (h, e) =

3
4

- załóżmy, że h oraz e nie są L-rozłączne;

a zatem inf (h, e) = log 1 = 0, 422
3
4

Artur Machlarz





Funkcja konﬁrmacji wyraża stopień potwierdzenia jakiegoś zdania przez
inne zdania. Przykład dla języka L2 :
2
załóżmy, że p(e) = 1/2 a p(h) = 1/8 ;
wtedy: cp (h, e) =

3
4

- załóżmy, że h oraz e nie są L-rozłączne;

a zatem inf (h, e) = log 1 = 0, 422
3
4

Stopień potwierdzenia c jest zatem wyznaczony przez związek logiczny
między e oraz h.

Artur Machlarz




Oczekiwana wartość informacyjna wyniku eksperymentu
Wg BHC możemy na podstawie teorii informacji semantycznej a priori
np. określić wartość informacyjną oczekiwanych danych wyjściowych
przeprowadzanego eksperymentu. Załóżmy, że:
możliwe dane wyjściowe projektowanego eksperymentu to zdania:
h1 , h2 , ..., hn - są one rozłączne a ich alternatywa jest L-prawdziwa.
Zbiór tych zdań oznaczmy jako H.
m-funkcja jest zdeﬁniowana dla wszystkich zdań hi ∈ H - mamy
ustalony rozkład prawdopodobieństwa.
w ramach BHC możemy podać uogólnioną wartość informatywności
zbioru możliwych wyjściowych danych eksperymentu, których
wartość nie będzie oparta na rozkładzie prawdopodobieństwa
wyznaczonym wyłącznie przez m-funkcję właściwą, ale na
prawdopodobieństwie warunkowym względem stopnia potwierdzenia
n

c(hp , e) ∗ inf (hp /e)

przez e: est(in, H, e) =
p=1

Artur Machlarz




Oczekiwana wartość informacyjna wyniku eksperymentu przykład

Wartość informacyjna wyniku eksperymentu - przykład:
przyjmijmy, że: L2 , h1 = Dc, h2 = Zc, H = {h1 , h2 }, e = Da.Db.
3
Zatem:
cont ∗ (h1 /e) = 0, 1
cont ∗ (h2 /e) = 0, 2. Zatem:
est(cont ∗ , H, e) =
∗

est(inf , H, e) =

2
3

2
3

1
3 ∗ 0, 2 = 0, 133
2
1
1
3 + 3 ∗ 3 = 0, 918

∗ 0, 1 +

∗ Log

Artur Machlarz

oraz





Pytania kontrolne:
Jaki jest przedmiot tej teorii?
Jaki jest cel Bar-Hillela i Carnapa?
Jak określona jest miara informatywności i jaki jest jej sens?
Do czego może mieć zastosowanie teoria BHC?

Artur Machlarz




Problem informatywności praw logicznych - Carnap i
Bar-Hillel

W ramach teorii BHC tautologie i kontrtautologie również posiadają
wartość informacyjną:
wartość informacyjna tautologii = 0
wartość informacyjna kontrtautologii = ∞
Maksymalna wartość informacyjna kontrtautologii może być uznana za
wysoce nieintuicyjną.

Artur Machlarz




Paradoks teorii BHC w ujęciu BHC

Wyjaśnienie Bar Hillela i Carnapa:

Może się to wydawać dziwne, że zdania sprzeczne (czyli takie,
których żaden idealny odbiorca nie mógłby zaakceptować)
okazują się zdaniami zawierającymi najwięcej informacji. Należy
jednak podkreślić, że informacja semantyczna nie implikuje
prawdziwości zdania. Zdania fałszywe mogą być w wysokim
stopniu informatywne. Zdania sprzeczne (kontrtautologie)
są zbyt informatywne, żeby mogły być prawdziwe.

Artur Machlarz




Paradoks teorii BHC w ujęciu Floridiego

Wysoka wartość informacyjna zdań, które nie mówią kompletnie nic o
rzeczywistości jest konsekwencją, której na gruncie definicji przyjętych w
BHC nie da się ominąć. Dla Floridiego jest to konsekwencja, której
wartość urasta w filozofii informacji do rangi paradoksu Gettiera w teorii
wiedzy. Staje się ona dla Floridiego jednym z istotnych argumentów za
przyjęciem prawdziwościowo określonej definicji informacji.

Artur Machlarz




O czym mówimy na zajęciach z logiki?

Problem informatywności praw logicznych pojawiał się także w innych
kontekstach, np.:
Wittgenstein: “Zdania pokazują, co mówią: tautologia i sprzeczność
pokazują, że nie mówią nic. (...) Tautologia i sprzeczność są
bezsensowne (...) (Nie wiem np. nic o pogodzie, gdy wiem tylko, że
pada lub nie pada.) (...) Tautologia i sprzeczność nie są obrazami
rzeczywistości. Nie przedstawiają one żadnej możliwej sytuacji.
Pierwsza dopuszcza bowiem każdą możliwą sytuację a druga nie
dopuszcza żadnej.” (Tractatus logico-philosophicus, 4.461, 4.462)
Tautologie i kontrtautologie nie są informatywne: nie obrazują bowiem
rzeczywistości.

Artur Machlarz





Problem informatywności praw logicznych w teorii Dretskego i Floridiego:
Dretske: sygnał jest informatywny a informacja pełni funkcję
wiedzotwórczą dzięki “prawom naturalnym” i “prawom logiki”.
Zarówno prawa logiki jak i prawa naturalne, jako odnoszące się do
pewnego typu zdarzeń we wszelkich kontekstach, mają zerową
wartość informacyjną.
Floridi: tautologie i kontrtautologie stanowią graniczne przykłady
relacji infonu do określonej sytuacji. Niezależnie od tego, czy infon
jest potwierdzany przez dowolną czy żadną sytuację, wartość
informacyjna takiego infonu wynosi 0.

Artur Machlarz





Naturalnie nie wszyscy uznają prawa logiczne za pozbawione znaczenia:
w szczególności należy zwrócić uwagę na rozwiązanie
zaproponowane przez Jaakko Hintikkę w kategoriach logiki
epistemicznej będącej prostym przekształceniem logiki modalnej K.
oraz tzw. algorytmiczną teorię informacji.
Więcej na ten temat w: Manuel E. Bremer Do Logical Truths Carry
Information?, w: “Minds and Machines” Volume 13 Issue 4, November
2003 oraz na następnym wykładzie.

Artur Machlarz



Przedmiot krytyki Jaakko Hintikki
Hintikka poddaje krytyce interpretację pojęcia prawdopodobieństwa w
teorii BHC. Wg Hintikki w teorii BHC znaleźć można przynajmniej dwie
trudności związane z interpretacją pojęcia prawdopodobieństwa:
1

w teorii BHC jesteśmy zainteresowani jedynie różnymi alternatywami
i czysto logicznym prawdopodobieństwem; informacja nie ma nic
wspólnego ze stanem wiedzy lub przekonaniami. Tymczasem
informacja niesiona przez hipotezę jest prawdopodobieństwem a
posteriori - czymś, co może być wzmocnione przez np. już
przeprowadzone obserwacje w stopniu zależnym od ich ilości.

2

funkcja m dopuszcza trudną do utrzymania konsekwencję: przy
rozszerzeniu teorii BHC, przy nieskończonym uniwersum, zdania
ogólne mają prawdopodobieństwo zerowe.

3

ponadto przyjęty w BHC język jest zbyt ubogi nawet dla języków
naukowych, w których pojawia się więcej niż tylko predykaty
jednoargumentowe i stałe indywiduowe.
Artur Machlarz



Przedmiot krytyki Jaakko Hintikki

Szczegółowa analiza Hintikki propozycji rozwiązania problemu oraz
kategorie informacji głębokiej i powierzchniowej zostaną przedstawione na
kolejnym wykładzie.

Artur Machlarz



Literatura

Duża część tego wykładu oparta jest na tekstach Bar-Hillela
zamieszczonych w wyborze:
Language and Information. Selected Essays in their Theory and
Application. Massachusetts 1964.
Polecam także:
Halina Mortimer Logika indukcji, Warszawa 1982.

Artur Machlarz



Dziękuję za uwagę i zapraszam do stawiania pytań!
Artur Machlarz
e-mail: artur.machlarz@uni.opole.pl
www: http://www.uni.opole.pl/∼machlarz

Artur Machlarz


Semantyczna teoria informacji 2

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (16)

Semantyczna teoria informacji 2