اطلاعات، داده، خرد و اندازه گیری اطلاعات

1. ‫اطالعات‬
‫اطالعات‬ ‫فناوری‬ ‫مبانی‬ ‫درس‬ ‫جلسه‬ ‫سومین‬-‫دانشگاه‬ ‫فنی‬ ‫پردیس‬ ‫کامپیوتر‬ ‫و‬ ‫برق‬ ‫مهندسی‬ ‫دانشکده‬‫تهران‬
www.nekoo.ir
‫نام‬ ‫به‬‫مهربانش‬
1

2. ‫مرور‬
‫شود؟‬ ‫می‬ ‫آرامش‬ ‫باعث‬ ‫کاری‬ ‫و‬ ‫کسب‬ ‫چه‬
‫کردید؟‬ ‫خود‬ ‫شناخت‬ ‫برای‬ ‫تالشی‬ ‫آیا‬
‫دارد؟‬ ‫علم‬ ‫با‬ ‫تفاوتی‬ ‫چه‬ ‫و‬ ‫چیست‬ ‫فناوری‬
‫دارد؟‬ ‫اجزایی‬ ‫چه‬ ‫فناوری‬
‫چرا؟‬ ،‫خالقیت‬ ‫یا‬ ‫است‬ ‫نوآوری‬ ‫شبیه‬ ‫فناوری‬
www.nekoo.ir 2

3. ‫چیست؟‬ ‫اطالعات‬
‫تعریف؟‬
‫چیست؟‬ ‫به‬ ‫اطالعات‬ ‫ارزش‬
‫؟‬ ‫منبع‬
www.nekoo.ir 3

4. www.nekoo.ir 4

5. ‫اطالعات‬(INFORMATION)
‫مطالبی‬‫؛‬ ‫شود‬ ‫استخراج‬ ‫خامی‬ ‫های‬ ‫داده‬ ‫از‬ ‫که‬ ‫است‬‫بعبارتی‬‫از‬ ‫استفاده‬ ‫قابل‬ ‫فرم‬ ‫همان‬ ‫اطالعات‬‫د‬‫ها‬‫اده‬
‫است‬‫که‬‫از‬‫های‬‫راه‬‫خاصی‬‫بدست‬ ‫پردازش‬ ‫از‬ ‫پس‬‫می‬‫آید‬.‫عبارت‬ ‫به‬‫دیگر‬‫که‬ ‫ایست‬ ‫داده‬ ‫اطالعات‬
‫توضیح‬‫و‬‫تفسیر‬‫شده‬‫باشد‬.
‫پدیده‬ ‫یک‬ ‫های‬ ‫خصیصه‬ ‫بیان‬ ‫و‬ ‫توصیف‬
‫معیار‬ ‫و‬ ‫شاخص‬ ‫دارای‬ ،‫معنادار‬
‫؟‬ ‫مثل‬
www.nekoo.ir 5

6. ‫اطالعات‬ ‫های‬ ‫ویژگی‬
‫معنادار‬
‫توصیف‬‫و‬‫تبیین‬‫کننده‬‫یک‬‫پدیده‬‫یا‬‫رابطه‬‫آن‬‫با‬‫دیگر‬‫پد‬‫یده‬‫ها‬
‫دارای‬‫واحد‬‫یا‬‫شاخص‬
‫حاصل‬‫تحقیق‬‫و‬‫پژوهش‬‫و‬‫روش‬‫های‬‫علمی‬
www.nekoo.ir 6

7. ‫اطالعات‬ ‫هرم‬
‫دارد؟‬ ‫قبلی‬ ‫از‬ ‫بیش‬ ‫چیزی‬ ‫چه‬ ‫سطح‬ ‫هر‬
‫دارد؟‬ ‫ارتباطی‬ ‫چه‬ ‫قبلی‬ ‫با‬ ‫سطح‬ ‫هر‬ ‫حجم‬
‫پایین؟‬ ‫به‬ ‫باال‬ ‫از‬ ‫یا‬ ‫باالست‬ ‫به‬ ‫پایین‬ ‫از‬ ‫هرم‬ ‫این‬ ‫تشکیل‬ ‫فرآیند‬
www.nekoo.ir 7

8. ‫اطالعات‬ ‫هرم‬
‫اطالعات‬=‫معنادار‬ ‫و‬ ‫شده‬ ‫پردازش‬ ‫داده‬
‫دانش‬=‫شده‬ ‫مرتبط‬ ‫و‬ ‫شده‬ ‫پردازش‬ ‫اطالعات‬
‫حکمت‬=‫خرد‬=‫یکپارچه‬ ‫و‬ ‫یافته‬ ‫وحدت‬ ‫دانش‬
‫شود‬ ‫می‬ ‫کمتر‬ ،‫باال‬ ‫سمت‬ ‫به‬ ‫حرکت‬ ‫با‬ ‫حجم‬ ‫میرسد‬ ‫نظر‬ ‫به‬
‫هم‬ ‫تجربی‬ ‫علوم‬ ‫در‬ ‫و‬ ‫دارند‬ ‫وجود‬ ‫هم‬ ‫تجربی‬ ‫غیر‬ ‫علوم‬
‫روش‬ ‫میتوان‬‫استقرایی‬‫داشت‬ ‫قیاسی‬ ‫و‬
‫است‬ ‫پایین‬ ‫به‬ ‫باال‬ ‫از‬ ‫دیگری‬ ‫روش‬ ‫معلوم‬ ‫و‬ ‫عالم‬ ‫و‬ ‫علم‬ ‫کنار‬ ‫در‬ ‫معلم‬ ‫به‬ ‫توجه‬
‫بندی‬ ‫دسته‬4‫علوم‬ ‫ی‬ ‫گانه‬‫تجربی‬ ‫؟‬(‫انسانی‬+‫تجربی‬)‫نیمه‬ ،‫تجریدی‬،‫تجریدی‬‫و‬ ‫ناب‬ ،‫شهو‬‫دی‬
www.nekoo.ir 8

9. ‫اطالعات‬ ‫نظریه‬‫شانون‬
‫کلود‬‫شانون‬‫کرد‬ ‫می‬ ‫کار‬ ‫اطمینان‬ ‫قابل‬ ‫تلفن‬ ‫خط‬ ‫طراحی‬ ‫روی‬
‫بود‬ ‫او‬ ‫نظر‬ ‫مورد‬ ‫اصلی‬ ‫پارامتر‬ ‫دو‬ ‫اطالعات‬ ‫حجم‬ ‫و‬ ‫کانال‬ ‫ظرفیت‬
‫آ‬ ‫محتوای‬ ‫و‬ ‫زبان‬ ‫از‬ ‫فارغ‬ ‫را‬ ‫انتقال‬ ‫قابل‬ ‫اطالعات‬ ‫که‬ ‫بود‬ ‫کسی‬ ‫اولین‬‫ن‬
‫کرد‬ ‫بررسی‬
www.nekoo.ir 9

10. ‫اطالعات‬ ‫ریاضی‬ ‫نظریه‬
‫مدلی‬‫ریاضی‬‫از‬‫شرایط‬‫و‬‫عوامل‬‫موثر‬‫در‬‫انتقال‬‫و‬‫پردازش‬‫ها‬‫داده‬‫و‬‫ّالعات‬‫ط‬‫ا‬‫فراهم‬‫آورد‬‫می‬.
‫با‬‫ارائه‬‫روشی‬‫جهت‬«‫ّی‬‫م‬‫ک‬‫سازی‬‫و‬‫گیری‬‫اندازه‬‫عددی‬‫اطالعات‬»‫به‬‫موضوعاتی‬‫مانند‬،‫ارسال‬،‫دریافت‬‫و‬‫سازی‬‫ذخیره‬
‫بهینه‬‫ها‬‫داده‬‫و‬‫اطالعات‬‫پردازد‬‫می‬.
‫تمرکز‬‫اصلی‬‫این‬‫نظریه‬‫بر‬‫روی‬‫های‬‫محدودیت‬‫بنیادین‬‫که‬‫در‬‫ارسال‬‫و‬‫تحلیل‬‫ها‬‫داده‬‫وجود‬‫دارد‬‫باشد‬‫می‬،‫و‬‫کمت‬‫ر‬‫به‬
‫نحوه‬‫عملکرد‬‫های‬‫دستگاه‬‫خاص‬‫پردازد‬‫می‬.
‫مورد‬‫استفاده‬‫خاص‬‫مهندسین‬‫مخابرات‬،‫بوده‬‫هرچند‬‫برخی‬‫از‬‫مفاهیم‬‫آن‬‫در‬‫های‬‫رشته‬‫دیگری‬‫مانند‬‫شناسی‬‫روان‬،
‫شناسی‬‫زبان‬‫نیز‬‫مورد‬‫استفاده‬‫قرار‬‫است‬‫گرفته‬.
www.nekoo.ir 10

11. ‫اطالعات‬ ‫انتقال‬
‫نظیر‬ ‫ویژگیهایی‬ ‫گرفتن‬ ‫نظر‬ ‫در‬ ‫با‬ ‫مقصد‬ ‫به‬ ‫مبدا‬ ‫از‬ ‫اطالعات‬ ‫انتقال‬ ‫هدف‬‫امنیت‬ ‫و‬ ‫اعتبار‬ ،‫سرعت‬‫م‬‫یباشد‬.
‫پیام‬:‫میباشد‬ ‫متن‬ ‫یا‬ ‫و‬ ‫تصویر‬ ،‫صدا‬ ‫شامل‬ ‫سمبلها‬ ‫از‬ ‫ای‬ ‫دنباله‬.‫از‬ ‫فیزیکی‬ ‫لحاظ‬ ‫به‬ ‫مقصد‬ ‫و‬ ‫مبدا‬‫جدا‬ ‫هم‬
‫هستند‬.
«‫داده‬ ‫تبادل‬ ‫سیستم‬ ‫یک‬ ‫دیاگرام‬ ‫بلوک‬»
www.nekoo.ir 11

12. ‫انتقال‬ ‫مشکالت‬
1)‫فنی‬ ‫مشکالت‬:‫فرستاد؛‬ ‫گیرنده‬ ‫برای‬ ‫فرستنده‬ ‫از‬ ‫را‬ ‫ارتباطی‬ ‫نمادهای‬ ‫توان‬‫می‬ ‫صحت‬ ‫مقدار‬ ‫چه‬ ‫با‬
2)‫معنایی‬ ‫مشکالت‬:‫رسانند؛‬‫می‬ ‫را‬ ‫نظر‬ ‫مورد‬ ‫معنای‬ ‫دقت‬ ‫مقدار‬ ‫چه‬ ‫با‬ ‫شده‬ ‫فرستاده‬ ‫نمادهای‬
3)‫اثربخشی‬ ‫مشکالت‬:‫دارد‬ ‫تأثیری‬ ‫چه‬ ‫موردنظر‬ ‫گیرنده‬ ‫رفتار‬ ‫بر‬ ‫شده‬ ‫دریافت‬ ‫معنای‬
www.nekoo.ir 12

13. ‫اطالعات‬ ‫انتقال‬ ‫سیستم‬ ‫یک‬ ‫عناصر‬
‫اطالعات‬ ‫منبع‬:‫دارد‬ ‫عهده‬ ‫بر‬ ‫را‬ ‫سمبل‬ ‫تولید‬ ‫وظیفه‬.‫مان‬ ‫دیجیتال‬ ‫و‬ ‫؛میکروفن‬ ‫برداری‬ ‫تصویر‬ ‫دوربین‬ ‫مانند‬ ‫آنالوگ‬‫کامپیوتر‬ ‫ند‬
‫شخصی‬
‫اطالعاتی‬ ‫منبع‬ ‫ویژگیهای‬:
1-‫حرف‬ ‫یا‬ ‫سمبل‬ ‫حسب‬ ‫بر‬ ‫منبع‬ ‫الفبای‬
2-‫اطالعات‬ ‫ارسال‬ ‫نرخ‬:baud‫است‬ ‫ثانیه‬ ‫بر‬ ‫سیمبل‬ ‫یا‬.
3-‫سمبلها‬ ‫از‬ ‫یک‬ ‫هر‬ ‫رخداد‬ ‫احتمال‬
4-‫سمبلها‬ ‫بین‬ ‫وابستگی‬:‫باالی‬ ‫میدانیم‬ ‫مثال‬90‫حرف‬ ‫موارد‬ ‫درصد‬U‫از‬ ‫بعد‬q‫میدهد‬ ‫رخ‬.
www.nekoo.ir 13

14. ‫دید‬ ‫از‬ ‫اطالعات‬ ‫امنیت‬‫شانون‬
‫امنیت‬‫یک‬‫سیستم‬‫رمز‬‫نگاری‬=‫ابهام‬‫موجود‬‫در‬‫متن‬‫اصلی‬‫پس‬‫از‬‫دریافت‬‫متن‬‫رمز‬‫ش‬‫ده‬
‫امنیت‬‫کامل‬=‫متن‬‫رمز‬‫شده‬‫هیچگونه‬‫اطالعاتی‬‫در‬‫مورد‬‫متن‬‫اصلی‬‫ندهد‬
‫معموال‬‫با‬‫افزایش‬‫طول‬‫متن‬‫رمز‬،‫شده‬‫اطالعات‬‫بیشتری‬‫در‬‫مورد‬‫متن‬‫اصلی‬‫پیدا‬‫میش‬‫ود‬‫و‬
‫امکان‬‫شکستن‬‫رمز‬‫بیشتر‬‫میشود‬
‫ایمنی‬=‫زمان‬‫الزم‬‫و‬‫متن‬‫الزم‬‫برای‬‫شکستن‬‫رمز‬‫یک‬‫سیستم‬‫انتقال‬
www.nekoo.ir 14

15. ‫اطالعات‬–‫پیام‬ ‫یک‬ ‫اطالعات‬ ‫ارزش‬
‫هر‬‫چقدر‬‫احتمال‬‫وقوع‬‫پیامی‬‫کمترباشد‬‫اطالعات‬‫آن‬‫بیشتر‬‫است‬‫و‬‫بالعکس‬:
I 𝑚 𝑘 = log2
1
𝑝 𝑘
‫که‬‫در‬‫آن‬mk‫پیام‬‫و‬Pk‫احتمال‬‫وقوع‬‫پیام‬‫میباشد‬.
‫میزان‬‫تعجب‬‫بدون‬‫در‬‫نظر‬‫گرفتن‬‫تعصب‬‫و‬‫فقط‬‫با‬‫توجه‬‫به‬‫احتماالت‬=‫عامل‬‫ارزش‬‫اطالعات‬
‫چه‬‫پیامی‬‫در‬‫دانشگاه‬‫بیشترین‬‫ارزش‬‫را‬‫دارد؟‬‫آیا‬‫محتوای‬‫پیام‬‫در‬‫قضاوت‬‫شما‬‫اثرگذار‬‫اس‬‫ت؟‬
www.nekoo.ir 15

16. ‫لگاریتم؟‬ ‫چرا‬
‫رویداد‬ ‫دو‬ ‫ب‬ ‫و‬ ‫الف‬ ‫کنید‬ ‫فرض‬‫مستقل‬‫احتمال‬ ‫با‬a,b‫باشند‬.
‫داریم‬ ‫کار‬ ‫احتماالت‬ ‫با‬ ‫و‬ ‫باشیم‬ ‫داشته‬ ‫کار‬ ‫ها‬ ‫پدیده‬ ‫محتوای‬ ‫با‬ ‫که‬ ‫نیست‬ ‫قرار‬ ‫اطالعات‬ ‫علم‬ ‫در‬.
‫افتد‬ ‫اتفاق‬ ‫هم‬ ‫با‬ ‫دو‬ ‫هر‬ ‫اگر‬‫اطالعاتمان‬‫الف‬ ‫اطالعات‬ ‫با‬ ‫است‬ ‫برابر‬+‫ب‬ ‫اطالعات‬
‫وقوع‬ ‫احتمال‬‫مشترکشان‬‫با‬ ‫است‬ ‫برابر‬a*b
I(a*b) = I(a) + I(b)
‫شانون‬‫مبنای‬ ‫در‬ ‫لگاریتم‬ ‫از‬ ‫اطالعات‬ ‫تابع‬ ‫جای‬ ‫به‬ ‫و‬ ‫گشت‬2‫کرد‬ ‫استفاده‬.
www.nekoo.ir 16

17. ‫تابع‬‫شانون‬
‫آنتروپی‬‫منبع‬‫اطالعات‬:‫متوسط‬‫اطالعات‬‫موجود‬‫در‬‫هر‬‫سمبل‬‫از‬‫منبع‬X‫را‬‫آنتروپی‬X‫میگویند‬:
𝐻 𝑥 =
𝑖=1
𝑀
𝑝𝑖 log
1
𝑝𝑖
‫که‬‫در‬‫آن‬p‫احتمال‬‫وقوع‬‫هر‬‫سمبل‬‫و‬‫لگاریتم‬‫در‬‫مبنای‬2‫میباشد‬‫اگر‬‫واحد‬‫اطالعات‬‫را‬‫بیت‬‫در‬‫نظر‬
‫بگیریم‬‫بنابراین‬‫واحد‬‫آنتروپی‬‫بیت‬‫بر‬‫سمبل‬‫خواهد‬‫بود‬.
‫از‬ ‫منفی‬ ‫کتابها‬ ‫بعضی‬ ‫در‬‫زیگما‬‫شود‬ ‫می‬ ‫کشیده‬ ‫بیرون‬.
www.nekoo.ir 17

18. ‫آنتروپی‬‫سالم؟‬ ‫سکه‬ ‫دو‬ ‫انداختن‬
‫بگیریم‬ ‫نظر‬ ‫در‬ ‫رشته‬ ‫یک‬ ‫صورت‬ ‫به‬ ‫را‬ ‫سکه‬ ‫دو‬ ‫حالت‬.
‫است؟‬ ‫محتمل‬ ‫چقدر‬ ‫حالت‬ ‫هر‬
‫آنتروپی‬‫کنیم‬ ‫می‬ ‫حساب‬ ‫را‬ ‫کل‬.
‫چه‬ ‫هر‬‫آنتروپی‬‫باشد‬ ‫بیشتر‬:
‫است‬ ‫الزم‬ ‫نتیجه‬ ‫ذخیره‬ ‫برای‬ ‫بیشتری‬ ‫بیت‬ ‫حجم‬.
‫دهد‬ ‫می‬ ‫ما‬ ‫به‬ ‫بیشتری‬ ‫اطالعات‬ ‫پدیده‬ ‫وقوع‬ ‫دیدن‬.
www.nekoo.ir 18

19. ‫بیشتر‬ ‫مطالعه‬ ‫برای‬ ‫منبعی‬
http://physics.sharif.edu/~vahid/teaching/Quantum%20Computation%201393/17-
QCI-New%20Classical%20Information%20Theory%20%28Part%201%29.pdf
‫کالسیک‬ ‫اطالعات‬ ‫نظریه‬ ‫درس‬–‫شریف‬ ‫دانشگاه‬ ‫فیزیک‬ ‫دانشکده‬
‫تابع‬ ‫ریاضی‬ ‫بررسی‬‫آنتروپی‬‫و‬ ‫شرطی‬ ،‫وابسته‬ ‫های‬ ‫پدیده‬ ‫حاالت‬ ‫در‬...
www.nekoo.ir 19

20. ‫سوال‬‫امتحانی‬
‫چیست؟‬ ‫اطالعات‬ ‫خصوصیات‬
‫دید‬ ‫از‬ ‫پیام‬ ‫یک‬ ‫ارزش‬ ‫و‬ ‫اطالعات‬ ‫امنیت‬‫شانون‬‫چیست؟‬
‫تابع‬‫شانون‬‫کنید‬ ‫تبیین‬ ‫را‬ ‫پیام‬ ‫ارزش‬ ‫اساس‬ ‫بر‬.
www.nekoo.ir 20