מערכות לומדות פגישה 1 חלק 5, האם אפשר ללמוד מנתונים האם בכלל אפשרל ללמוד מנתונים? PAC למידה

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 1/ Part 5
‫מנתונים‬ ‫ללמוד‬ ‫אפשר‬ ‫בכלל‬ ‫האם‬?
2017

2. ‫תזכורת‬

3. ‫חשובה‬ ‫שאלה‬
•‫מהנתונים‬ ‫ללמוד‬ ‫אפשר‬ ‫בכלל‬ ‫האם‬?

4. ‫חשובה‬ ‫שאלה‬
•‫מהנתונים‬ ‫ללמוד‬ ‫אפשר‬ ‫בכלל‬ ‫האם‬?
•‫התוצאות‬ ‫כל‬ ‫של‬ ‫מאוסף‬ ‫חלק‬ ‫רק‬ ‫הם‬ ‫הנתונים‬ ‫כלל‬ ‫בדרך‬
‫האפשריות‬
•‫מטרה‬ ‫פונקציה‬ ‫של‬ ‫התנהגות‬ ‫להבין‬ ‫ניתן‬ ‫חלק‬ ‫סמך‬ ‫על‬ ‫האם‬f
‫הנתונים‬ ‫כל‬ ‫על‬?

5. ‫דוגמא‬1
•‫למידה‬ ‫האלגוריתם‬ ‫שאנו‬ ‫לרגע‬ ‫נדמיין‬,‫מהנתונים‬ ‫ללמוד‬ ‫וננסה‬
‫הבאים‬:

6. ‫דוגמא‬1
•‫הצבעה‬!

7. ‫דוגמא‬1
•‫הצבעה‬!

8. ‫דוגמא‬1
•‫א‬ ‫פתרון‬':‫אז‬ ‫צהוב‬ ‫הכול‬ ‫עליונה‬ ‫בשורה‬ ‫אם‬f=0‫אחרת‬f=1,
‫היא‬ ‫התשובה‬ ‫ולכן‬f=0

9. ‫דוגמא‬1
•‫ב‬ ‫פתרון‬':‫ציר‬ ‫סביב‬ ‫סימטרית‬ ‫הטבלה‬ ‫אם‬Y‫אזי‬f=0‫אחרת‬
f=1,‫היא‬ ‫התשובה‬ ‫ולכן‬f=1

10. ‫דוגמא‬1-‫מסקנה‬
•‫דוגמאות‬ ‫בעזרת‬ ‫פונקציה‬ ‫של‬ ‫ערך‬ ‫את‬ ‫ללמוד‬ ‫ניתן‬ ‫לא‬ ‫כאן‬
‫חלקיות‬

11. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2
f(n) 1 2 ?

12. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4
f(n) 1 2 4 8 ?

13. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4
f(n) 1 2 4 8 16

14. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4 5 6
f(n) 1 2 4 8 16 32 ?

15. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4 5 6
f(n) 1 2 4 8 16 32 68

16. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4 5 6
f(n) 1 2 4 8 16 32 68

17. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
n=1 0 1 2 3 4 5 6 7
f(n) 1 2 4 8 16 32 68 ?

18. ‫דוגמא‬2
•‫סדרה‬ ‫ללמוד‬ ‫ננסה‬ ‫כעת‬:
•‫מדרגה‬ ‫פולינום‬7‫הנקודות‬ ‫כל‬ ‫דרך‬ ‫שעובר‬
n=1 0 1 2 3 4 5 6 7
f(n) 1 2 4 8 16 32 68 2017

19. ‫דוגמא‬2-‫מסקנה‬
•‫חלקיים‬ ‫נתונים‬ ‫בעזרת‬ ‫פונקציה‬ ‫ללמוד‬ ‫הצלחנו‬ ‫לא‬ ‫כאן‬ ‫גם‬
•‫מדרגה‬ ‫פולינום‬7‫הנקודות‬ ‫כל‬ ‫דרך‬ ‫שעובר‬
n=1 0 1 2 3 4 5 6 7
f(n) 1 2 4 8 16 32 68 2017

20. ‫דוגמא‬3
•f‫בוליאנית‬ ‫פונקציה‬ ‫היא‬,‫ידוע‬ ‫לא‬,‫אותה‬ ‫ללמוד‬ ‫רוצים‬ ‫שאנו‬
x1 x2 x3 y=f(x1,x2,x3)
0 0 0 0
0 0 1 1
0 1 0 1
0 1 1 0
1 0 0 1
1 0 1 1
1 1 0 ?
1 1 1 ?

21. ‫דוגמא‬3
•f‫בוליאנית‬ ‫פונקציה‬ ‫היא‬,‫ידוע‬ ‫לא‬,‫אותה‬ ‫ללמוד‬ ‫רוצים‬ ‫שאנו‬
x1 x2 x3 y=f(x1,x2,x3) f1 f2 f3 f4
0 0 0 0 0 0 0 0
0 0 1 1 1 1 1 1
0 1 0 1 1 1 1 1
0 1 1 0 0 0 0 0
1 0 0 1 1 1 1 1
1 0 1 1 1 1 1 1
1 1 0 ? 0 0 1 1
1 1 1 ? 0 1 0 1

22. ‫ביניים‬ ‫סיכום‬
•‫על‬ ‫להסיק‬ ‫ניתן‬ ‫שלא‬ ‫רואים‬ ‫אנו‬ ‫מהדוגמאות‬‫כל‬‫הפונקציה‬ ‫ערכי‬
‫מהנקודות‬ ‫בחלק‬ ‫הפונקציה‬ ‫ערכי‬ ‫על‬ ‫הסתכלות‬ ‫בעזרת‬ ‫רק‬

23. ‫ביניים‬ ‫סיכום‬
•‫על‬ ‫להסיק‬ ‫ניתן‬ ‫שלא‬ ‫רואים‬ ‫אנו‬ ‫מהדוגמאות‬‫כל‬‫הפונקציה‬ ‫ערכי‬
‫מהנקודות‬ ‫בחלק‬ ‫הפונקציה‬ ‫ערכי‬ ‫על‬ ‫הסתכלות‬ ‫בעזרת‬ ‫רק‬
•‫מסקנה‬:‫מדוגמאות‬ ‫ללמוד‬ ‫ניתן‬ ‫לא‬

24. ‫ביניים‬ ‫סיכום‬
•‫על‬ ‫להסיק‬ ‫ניתן‬ ‫שלא‬ ‫רואים‬ ‫אנו‬ ‫מהדוגמאות‬‫כל‬‫הפונקציה‬ ‫ערכי‬
‫מהנקודות‬ ‫בחלק‬ ‫הפונקציה‬ ‫ערכי‬ ‫על‬ ‫הסתכלות‬ ‫בעזרת‬ ‫רק‬
•‫מסקנה‬:‫מדוגמאות‬ ‫ללמוד‬ ‫ניתן‬ ‫לא‬
•‫הקורס‬ ‫סוף‬:‫להתראות‬

25. ‫למידה‬ ‫בעיית‬ ‫של‬ ‫ראשונית‬ ‫הגדרה‬
‫מטרה‬ ‫פונקציה‬f:X->Y
‫ידוע‬ ‫לא‬ ‫הפונקציה‬
‫דטה‬–‫שאלה‬ ‫של‬ ‫נתונים‬
(x1,y1),(x2,y2),….,(xN,yN)
‫אלגוריתם‬
‫למידה‬A
‫נוסחאות‬ ‫אוסף‬(‫השערות‬)
H
‫נוסחה‬(‫השערה‬)
‫סופית‬g
‫ולא‬ ‫קיים‬
‫שלנו‬ ‫בשליטה‬
‫בוחרים‬ ‫אנו‬
‫תוצאה‬
‫סופית‬
‫מקווים‬:
f~g

26. ‫למידה‬ ‫בעיית‬ ‫של‬ ‫ראשונית‬ ‫הגדרה‬
‫מטרה‬ ‫פונקציה‬f:X->Y
‫ידוע‬ ‫לא‬ ‫הפונקציה‬
‫דטה‬–‫שאלה‬ ‫של‬ ‫נתונים‬
(x1,y1),(x2,y2),….,(xN,yN)
‫אלגוריתם‬
‫למידה‬A
‫נוסחאות‬ ‫אוסף‬(‫השערות‬)
H
‫נוסחה‬(‫השערה‬)
‫סופית‬g
‫ולא‬ ‫קיים‬
‫שלנו‬ ‫בשליטה‬
‫בוחרים‬ ‫אנו‬
‫תוצאה‬
‫סופית‬
‫מקווים‬:
f~g

27. ‫משהו‬ ‫לעשות‬ ‫אפשר‬ ‫אולי‬?

28. ‫להצלה‬ ‫הסתברות‬

29. ‫להצלה‬ ‫הסתברות‬
•‫מסתברת‬,‫שלנו‬ ‫הדרישות‬ ‫את‬ ‫קצת‬ ‫נחליש‬ ‫שאם‬,‫למידה‬ ‫למודל‬ ‫ונוסיף‬
‫הסתברות‬,‫ושימושיות‬ ‫יפות‬ ‫תוצאות‬ ‫לקבל‬ ‫נוכל‬

30. ‫להצלה‬ ‫הסתברות‬
•‫מסתברת‬,‫שלנו‬ ‫הדרישות‬ ‫את‬ ‫קצת‬ ‫נחליש‬ ‫שאם‬,‫למידה‬ ‫למודל‬ ‫ונוסיף‬
‫הסתברות‬,‫ושימושיות‬ ‫יפות‬ ‫תוצאות‬ ‫לקבל‬ ‫נוכל‬
•‫מדוגמאות‬ ‫ללמידה‬ ‫לעזור‬ ‫יכול‬ ‫ודעי‬ ‫לא‬ ‫משהו‬ ‫איך‬?
•‫הבא‬ ‫פעם‬ ‫נדבר‬ ‫זה‬ ‫על‬

31. ‫להצלה‬ ‫הסתברות‬
•‫מסתברת‬,‫שלנו‬ ‫הדרישות‬ ‫את‬ ‫קצת‬ ‫נחליש‬ ‫שאם‬,‫למידה‬ ‫למודל‬ ‫ונוסיף‬
‫הסתברות‬,‫ושימושיות‬ ‫יפות‬ ‫תוצאות‬ ‫לקבל‬ ‫נוכל‬
•‫מדוגמאות‬ ‫ללמידה‬ ‫לעזור‬ ‫יכול‬ ‫ודעי‬ ‫לא‬ ‫משהו‬ ‫איך‬?
•‫הבא‬ ‫פעם‬ ‫נדבר‬ ‫זה‬ ‫על‬
•‫וידוע‬ ‫פשוטה‬ ‫דוגמא‬ ‫ידי‬ ‫על‬ ‫ראשוני‬ ‫הסבר‬ ‫ניתן‬ ‫כעת‬

32. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫קורס‬ ‫למד‬ ‫סטודנט‬
•‫החומר‬ ‫את‬ ‫יודע‬ ‫היא‬ ‫איך‬ ‫לבדוק‬ ‫רוצה‬ ‫מרצה‬ ‫כעת‬
•‫הבדיקה‬ ‫את‬ ‫לעשות‬ ‫אפשר‬ ‫איך‬?

33. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫קורס‬ ‫למד‬ ‫סטודנט‬
•‫החומר‬ ‫את‬ ‫יודע‬ ‫היא‬ ‫איך‬ ‫לבדוק‬ ‫רוצה‬ ‫מרצה‬ ‫כעת‬
•‫הבדיקה‬ ‫את‬ ‫לעשות‬ ‫אפשר‬ ‫איך‬?
•‫מושלם‬ ‫פתרון‬:‫הסטודנט‬ ‫את‬ ‫לשאול‬‫כל‬‫החומר‬ ‫על‬ ‫השאלות‬
•‫יתרון‬:‫יודע‬ ‫לא‬ ‫הוא‬ ‫ומה‬ ‫יודע‬ ‫סטודנט‬ ‫מה‬ ‫נדע‬
•‫חסרון‬:‫זמן‬ ‫המון‬,‫מעשי‬ ‫לא‬

34. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫פרקטי‬ ‫פתרון‬:‫בחינה‬,‫רשימה‬ ‫בוחר‬ ‫מרצה‬(‫קצרה‬" )‫אקראית‬"‫שאלות‬ ‫של‬
‫אותם‬ ‫לפתור‬ ‫לסטודנט‬ ‫ונותן‬,‫ציון‬ ‫בעזרת‬ ‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫מעריך‬ ‫ואז‬
‫מבחן‬ ‫של‬
•‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫אשקף‬ ‫תמיד‬ ‫מבחן‬ ‫ציון‬ ‫האם‬?

35. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫פרקטי‬ ‫פתרון‬:‫בחינה‬,‫רשימה‬ ‫בוחר‬ ‫מרצה‬"‫אקראית‬"‫נותן‬ ‫שאלות‬ ‫של‬
‫אותם‬ ‫לפתור‬ ‫לסטודנט‬,‫של‬ ‫ציון‬ ‫בעזרת‬ ‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫מעריך‬ ‫ואז‬
‫מבחן‬
•‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫אשקף‬ ‫תמיד‬ ‫מבחן‬ ‫ציון‬ ‫האם‬?‫לא‬
•‫אנו‬ ‫אבל‬‫מקווים‬‫אמיתי‬ ‫מציון‬ ‫רחוק‬ ‫יהי‬ ‫לא‬ ‫מבחן‬ ‫הציון‬ ‫גבוהה‬ ‫שבהסתברות‬
‫סטודנט‬ ‫של‬

36. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫פרקטי‬ ‫פתרון‬:‫בחינה‬,‫רשימה‬ ‫בוחר‬ ‫מרצה‬"‫אקראית‬"‫נותן‬ ‫שאלות‬ ‫של‬
‫אותם‬ ‫לפתור‬ ‫לסטודנט‬,‫של‬ ‫ציון‬ ‫בעזרת‬ ‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫מעריך‬ ‫ואז‬
‫מבחן‬
•‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫אשקף‬ ‫תמיד‬ ‫מבחן‬ ‫ציון‬ ‫האם‬?‫לא‬
•‫אנו‬ ‫אבל‬‫מקווים‬‫אמיתי‬ ‫מציון‬ ‫רחוק‬ ‫יהי‬ ‫לא‬ ‫מבחן‬ ‫הציון‬ ‫גבוהה‬ ‫שבהסתברות‬
‫סטודנט‬ ‫של‬
•"‫מקווים‬"–‫זה‬ ‫למאורע‬ ‫הסתברותיים‬ ‫חסמים‬ ‫יש‬

37. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫פרקטי‬ ‫פתרון‬:‫בחינה‬,‫רשימה‬ ‫בוחר‬ ‫מרצה‬"‫אקראית‬"‫נותן‬ ‫שאלות‬ ‫של‬
‫אותם‬ ‫לפתור‬ ‫לסטודנט‬,‫של‬ ‫ציון‬ ‫בעזרת‬ ‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫מעריך‬ ‫ואז‬
‫מבחן‬
•‫סטודנט‬ ‫של‬ ‫הידע‬ ‫את‬ ‫אשקף‬ ‫תמיד‬ ‫מבחן‬ ‫ציון‬ ‫האם‬?‫לא‬
•‫אנו‬ ‫אבל‬‫מקווים‬‫אמיתי‬ ‫מציון‬ ‫רחוק‬ ‫יהי‬ ‫לא‬ ‫מבחן‬ ‫הציון‬ ‫גבוהה‬ ‫שבהסתברות‬
‫סטודנט‬ ‫של‬
•"‫מקווים‬"–‫זה‬ ‫למאורע‬ ‫הסתברותיים‬ ‫חסמים‬ ‫יש‬
•‫ממוכנת‬ ‫ללמידה‬ ‫ליישם‬ ‫ניתן‬ ‫דומה‬ ‫שרעיון‬ ‫מסתבר‬(PAC learning)

38. ‫סטודנט‬ ‫של‬ ‫ידע‬ ‫בחינת‬
•‫ממוכנת‬ ‫ללמידה‬ ‫ליישם‬ ‫ניתן‬ ‫דומה‬ ‫שרעיון‬ ‫מסתבר‬
(PAC learning)
•‫בהסתברות‬‫גדולה‬,‫הקירוב‬g‫יהי‬‫רחוק‬ ‫לא‬‫אמיתית‬ ‫מפונקציה‬f

39. ‫סיכום‬
‫כללי‬ ‫באופן‬,‫ידוע‬ ‫לא‬ ‫פונקציה‬ ‫ללמוד‬ ‫ניתן‬ ‫לא‬
‫מהנקודות‬ ‫בחלק‬ ‫שלה‬ ‫ערכים‬ ‫על‬ ‫ידע‬ ‫בעזרת‬
‫הלמידה‬ ‫בעיית‬ ‫את‬ ‫הופך‬ ‫הסתברותי‬ ‫מודל‬
‫ויעילה‬ ‫פתירה‬ ‫לבעיה‬ ‫מדוגמאות‬