Information Theory

1. Information
Theory
Shannon & Weaver

2. ‫خػَغب‬ ‫خبظ‬ ‫هؼٌى‬ ‫يه‬ ُ‫دسثشداسًذ‬ ‫اعالػبت‬"‫پيطگَئى‬ ‫ثب‬ ‫استجبط‬ ‫دس‬
‫است‬ ُ‫داد‬ ‫اص‬ ‫احتوبلى‬‫د‬ُ‫ضذ‬ ِ‫اسائ‬ ‫هحتَاى‬ ٍ ‫هؼٌى‬ ‫هيضاى‬ ، ‫فَق‬ ‫تؼشيف‬ ‫س‬
‫گيشد‬ ‫هى‬ ‫لشاس‬ ِ‫تَج‬ ‫هَسد‬ ‫اعالػبت‬ ‫تَسظ‬.‫هثال‬"‫هى‬ ‫اػالم‬ ‫هب‬ ِ‫ث‬ ِ‫و‬ ‫پيبهى‬
‫ًوبيذ‬‫ۺ‬"‫ًوبيذ‬ ‫هى‬ ‫علَع‬ ‫خَسضيذ‬ ‫فشدا‬"‫هحتَاى‬ ‫اًذوى‬ ‫حجن‬ ‫داساى‬
‫حجن‬ ‫ضبهل‬ ، ‫ليبهت‬ ‫سٍص‬ ‫ثب‬ ِ‫ساثغ‬ ‫دس‬ ‫پيبم‬ ‫يه‬ ِ‫حبليى‬ ‫دس‬ ‫است‬ ‫اعالػبتى‬
‫است‬ ‫اعالػبت‬ ‫اص‬ ‫ثبالئى‬.

3. ‫پشداصش‬ ٍ ‫اًتمبل‬ ‫هَثشدس‬ ‫ػَاهل‬ ٍ ‫ضشايظ‬ ‫اص‬ ‫سيبضی‬ ‫هذلی‬ ‫ّالػبت‬‫ع‬‫ا‬ ِّ‫ي‬‫ًظش‬
‫آٍسد‬ ‫هی‬ ‫فشاّن‬ ‫ّالػبت‬‫ع‬‫ا‬ ٍ ‫ّب‬ ُ‫داد‬.‫جْت‬ ‫سٍضی‬ ِ‫ثباسائ‬ ‫اعالػبت‬ ِ‫ًظشي‬
«‫اعالػبت‬ ‫ػذدی‬ ‫گيشی‬ ُ‫اًذاص‬ ٍ ‫سبصی‬ ‫ّی‬‫و‬‫و‬»،‫هبًٌذاسسبل‬ ‫هَضَػبتی‬ ِ‫ث‬
‫پشداصد‬ ‫هی‬ ‫اعالػبت‬ ٍ ‫ّب‬ ُ‫داد‬ ٌِ‫ثْي‬ ‫سبصی‬ ُ‫رخيش‬ ٍ ،‫دسيبفت‬.‫توشوضاغلی‬
ُ‫داد‬ ‫تحليل‬ ٍ ‫اسسبل‬ ‫دس‬ ِ‫و‬ ‫ثٌيبديي‬ ‫ّبی‬ ‫هحذٍديت‬ ‫سٍی‬ ‫ثش‬ ِ‫ًظشي‬ ‫ايي‬
‫هی‬ ‫خبظ‬ ‫ّبی‬ ُ‫دستگب‬ ‫ػولىشد‬ َُ‫ًح‬ ِ‫ث‬ ‫ووتش‬ ٍ ،‫ثبضذ‬ ‫هی‬ ‫داسد‬ ‫ّبٍجَد‬
‫پشداصد‬.
‫سبل‬ ‫دس‬ ‫ضبًَى‬ ‫والٍد‬ ‫ًبم‬ ِ‫ث‬ ً‫ب‬‫ػوَه‬ ِ‫ًظشي‬ ‫ايي‬ ‫پيذايص‬۱۹۴۸‫ًسجت‬ ‫هيالدی‬
‫ضَد‬ ‫هی‬ ُ‫داد‬.

4. ‫ضبًَى‬ ‫ولَد‬ ‫سا‬ ‫هذل‬ ‫ايي‬(‫وشد‬‫هی‬ ‫وبس‬ ‫ثل‬ ‫تلفي‬ ‫ضشوت‬ ‫ثب‬ ِ‫و‬ ‫داًی‬‫سيبضی‬)ٍ
‫ٍيَس‬ ‫ٍاسى‬(‫ػلوی‬ ‫تحميمبت‬ ‫اجشايی‬ ‫هذيش‬)‫سبل‬ ‫دس‬۱۹۴۹‫وشدًذ‬ ‫هٌتطش‬.
ٍ ‫تلفٌی‬ ‫ّبی‬‫پيبم‬ ًَِ‫چگ‬ ِ‫و‬ ‫ثَد‬ ‫ايي‬ ‫اسبسب‬ ‫ٍيَس‬ ٍ ‫ضبًَى‬ ‫هطغَلی‬‫دل‬
‫ضًَذ‬‫هی‬ ‫تؼجيش‬ ‫سَء‬ ‫هَجت‬ ،‫ضًَذ‬‫هی‬ ‫هٌتمل‬ ‫ًبدسست‬ ٍ ‫ًبلع‬ ِ‫و‬ ‫تلگشافی‬.
‫هجشاّبی‬ ‫آى‬ ‫دس‬ ِ‫و‬ ،‫ثَدًذ‬ ‫ای‬َُ‫ضي‬ ‫آٍسدى‬ ‫فشاّن‬ ‫دًجبل‬ِ‫ث‬ ‫ّوچٌيي‬ ‫ّب‬‫آى‬
‫ثبضٌذ‬ ِ‫داضت‬ ‫ثيطتشی‬ ‫وبسآيی‬ ‫استجبعی‬.‫وبثل‬ ،‫اغلی‬ ‫هجشاّبی‬ ‫ّب‬‫آى‬ ‫ثشای‬
‫ثَد‬ ‫ساديَيی‬ ‫اهَاج‬ ٍ ‫تلفي‬.

5. ‫سيبضی‬ ِ‫ًظشي‬ ‫ػٌَاى‬ِ‫ث‬ ِ‫و‬ ‫اعالػبت‬ ِ‫ًظشي‬‫استجبعی‬
Mathematical Theory Of Communication
‫هؼشٍف‬‫ثب‬ ‫ای‬ِ‫پبي‬ ٍ ‫اغَلی‬ ‫ثشخَسد‬ ،‫ولی‬ ُ‫الؼبد‬‫فَق‬ ٍ‫للوش‬ ‫چَى‬ ‫ّبيی‬‫ٍيژگی‬ ‫ثب‬ ،‫است‬
‫ثبس‬ ِ‫ث‬ ِ‫و‬ ‫ًتبيجی‬ ‫استحىبم‬ ٍ ‫سبدگی‬ ٍ ‫هطىالت‬ ٍ ‫هسبئل‬‫آٍسد‬‫هی‬.
‫اص‬ ‫ػجبستٌذ‬ ‫هذل‬ ‫ايي‬ ‫ػٌبغش‬‫ۺ‬
.1‫اعالػبت‬ ‫هٌجغ‬
.2‫ػالهت‬
.3‫هجشا‬
.4‫هجشا‬ ‫ظشفيت‬
.5ُ‫گيشًذ‬
.6‫همػذ‬
.7‫ثبصخَسد‬
.8‫اختالل‬

6. ‫ضبًَى‬ٍ‫ٍيَس‬‫ثشای‬ِ‫هغبلؼ‬،‫استجبعبت‬ِ‫س‬‫سغح‬‫اص‬ِ‫هسئل‬‫سا‬ِ‫ث‬‫ايي‬‫تشتيت‬‫هطخع‬
‫اًذ‬ُ‫وشد‬.
.1‫هسبئل‬‫فٌی؛‬‫ثب‬ِ‫چ‬‫دلت‬ٍ،‫غحتی‬‫تَاى‬‫هی‬‫ًوبدّبی‬‫استجبعی‬‫سا‬‫اًتمبل‬‫داد؟‬
.2‫هسبئل‬‫هؼٌبيی؛‬‫ًوبدّبی‬ُ‫ضذ‬‫هٌتمل‬‫ثب‬ِ‫چ‬‫ّتی‬‫ل‬‫د‬‫هؼٌبی‬‫هغلَة‬‫سا‬‫سسبًٌذ؟‬‫هی‬
.3‫هسبئل‬‫تأثيشگزاس؛‬ِ‫ث‬ِ‫چ‬،‫هيضاى‬‫هؼٌبی‬ُ‫ضذ‬‫دسيبفت‬َ‫ًح‬ِ‫ث‬ُ‫خَا‬‫دل‬‫ثش‬‫سفتبس‬‫هخبعت‬
‫تأثيش‬‫خَاّذ‬‫گزاضت‬.

7. ‫هفَْم‬،َ‫حط‬‫ٍاثستگی‬‫ًضديىی‬ِ‫ث‬"‫اعالػبت‬"‫داسد‬.َ‫حط‬‫يؼٌی‬ِ‫ايٌى‬‫يه‬،‫پيبم‬
‫پزيش‬‫ثيٌی‬‫پيص‬‫يب‬‫لشاسدادی‬‫ثبضذ؛‬‫آًتشٍپی‬‫هتضبد‬‫آى‬‫است‬.َ‫حط‬ِ‫ًتيج‬
‫پزيشی‬‫ثيٌی‬‫پيص‬‫صيبد‬ٍ‫آًتشٍپی‬ًِ‫ًطب‬‫پزيشی‬‫ثيٌی‬‫پيص‬‫اًذن‬‫است‬.‫ثٌبثشايي‬‫پيبهی‬‫ثب‬
‫پزيشی‬‫ثيٌی‬‫پيص‬‫اًذن‬‫سا‬‫تَاى‬‫هی‬‫داسای‬‫آًتشٍپی‬ٍ"‫اعالػبت‬"‫ثسيبس‬‫داًست‬.
‫ثشػىس‬‫پيبهی‬‫ثب‬‫پزيشی‬‫ثيٌی‬‫پيص‬،‫صيبد‬‫داسای‬َ‫حط‬‫ثسيبس‬ٍ"‫اعالػبت‬"‫اًذن‬
‫است‬.‫اگش‬ِ‫ث‬‫دٍستی‬‫دس‬‫خيبثبى‬‫ثشثخَسم‬ٍ‫ثگَين‬‫ۺ‬"‫سالم‬"،‫پيبهی‬‫ثب‬
‫پزيشی‬‫ثيٌی‬‫پيص‬ٍَ‫حط‬‫ثسيبس‬‫ام‬ُ‫فشستبد‬.

8. ‫اص‬‫سبل‬۱۹۴۹،ِ‫ًظشي‬‫سيبضی‬‫استجبعبت‬‫ّذف‬‫اًتمبدات‬‫هْوی‬ُ‫ثَد‬‫است‬.‫هٌتمذاى‬
‫گَيٌذ‬‫هی‬‫ايي‬ِ‫ًظشي‬‫گشا‬ِ‫هذاخل‬‫است؛‬‫ثذيي‬‫هؼٌب‬ِ‫و‬‫ظبّشا‬‫ّذفص‬‫ايي‬،‫است‬‫ثش‬‫تَاى‬
‫گش‬‫استجبط‬‫ثشای‬ِ‫هذاخل‬‫دس‬‫ی‬ُ‫هحذٍد‬‫صًذگی‬ُ‫گيشًذ‬ٍ‫يب‬‫ًظبست‬‫ثش‬‫صًذگی‬‫ٍی‬
‫ثيبفضايذ‬.‫ّوچٌيي‬‫عَس‬ِ‫ث‬‫ضوٌی‬‫ثيبى‬‫داسد‬‫هی‬ِ‫و‬ُ‫گيشًذ‬"‫پزيش‬‫وٌص‬"‫است‬ٍ‫دس‬
‫چٌگبل‬‫هشاحل‬‫لجلی‬‫ايي‬‫فشآيٌذ‬‫گشفتبس‬ُ‫آهذ‬‫است‬.‫ايي‬ِ‫ًظشي‬ًِِ‫ث‬‫هؼٌبی‬‫پيبم‬
‫پشداصد‬‫هی‬ًٍِِ‫ث‬ٌِ‫صهي‬‫دسيبفت‬ٍ‫يب‬‫ی‬ِ‫ساثغ‬‫اجتوبػی‬‫افشاد‬‫ًفغ‬‫ری‬.‫ايي‬ِ‫ًظشي‬
‫ثيطتش‬‫يه‬‫الگَی‬ًِ‫ايستباًگبسا‬ٍ‫هبضيٌی‬‫است‬‫؛‬‫تب‬‫الگَيی‬‫ضٌبختی‬ًِ‫ًطب‬ٍ‫يب‬
‫اجتوبػی‬.
‫يىی‬‫ديگش‬‫اص‬‫اضىبالت‬‫ايي‬ِ‫ًىت‬‫است‬ِ‫و‬‫ايي‬ِ‫ًظشي‬‫فمظ‬‫دس‬‫سغح‬‫هسبئل‬‫فٌی‬(‫غيش‬
‫اص‬‫هؼٌب‬ٍ‫تأثيش‬)‫وبسثشد‬‫داسد‬.

9. ‫ی‬ِّ‫د‬ ‫دس‬ ِ‫و‬ ‫است‬ ‫ديجيتبل‬ ‫استجبعی‬ ‫آٍسی‬‫في‬ ،‫اعالػبت‬ ِ‫ًظشي‬ ‫هستمين‬ ِ‫ًتيج‬ ‫يه‬
۱۹۸0‫يبفت‬ ‫ػوَهيت‬ ‫جب‬ِ‫ّو‬ ‫دس‬.
‫گَيذ‬‫هی‬ ‫گشٍّيل‬ ‫هه‬ ‫دايشٓالوؼبسف‬‫ۺ‬‫وبهپيَتش‬ ِ‫تَسؼ‬ ‫دس‬ ‫ثؼذّب‬ ،‫ضبًَى‬ ‫ولَد‬ ‫ًظشيبت‬
‫است‬ ِ‫داضت‬ ‫ثسيبسی‬ ‫تأثيش‬ ‫ًيض‬.
‫استجبط‬ ‫ثشای‬ ‫ثؼذّب‬ ِ‫و‬ ‫ّب‬‫هذل‬ ‫اوثش‬ ‫عشاحی‬ ‫دس‬ ‫ضبًَى‬ ‫هذل‬ ِ‫و‬ ‫است‬ ‫ايي‬ ‫ثش‬ ُ‫ػميذ‬
‫است‬ ِ‫داضت‬ ‫ثسضايی‬ ‫تأثيش‬ ،‫ضذ‬ ‫عشاحی‬.
‫دس‬ ِ‫ًشي‬ ‫ايي‬‫هيبى‬ِ‫و‬ ‫ضٌبسبًی‬‫صيست‬‫اّويت‬ ‫اص‬ ،‫دٌّذ‬‫هی‬ ‫ًطبى‬ ِ‫ػالل‬ ‫سيبضيبت‬ ِ‫ث‬
‫هفَْم‬ ‫ثيبى‬ ‫ثشای‬ ‫ديگشی‬ ‫ثبسص‬ ‫ی‬ًَِ‫ًو‬ ،ِ‫ًظشي‬ ‫ايي‬ ِ‫چشاو‬ ‫است؛‬ ‫ثشخَسداس‬ ‫ٍااليی‬
‫ضذ‬‫هی‬ ‫ثيبى‬ ‫هجْن‬ ‫غَست‬ِ‫ث‬ ‫لجال‬ ِ‫و‬ ‫است؛‬ ‫اعالػبت‬ ‫ّی‬‫و‬‫و‬ ٍ ‫دليك‬.