עץ החלטה יער אקראי

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 6/ Part 1
‫החלטה‬ ‫עצי‬
2017

2. ‫תזכורת‬

3. ‫חיזוי‬ ‫טעות‬ ‫סוגי‬
TP
TN
Confusion Matrix

4. ROC Curve
t=0TP/(TP+FN)
FP/(TN+FP)

5. Area Under Curve
AUC
•AUC–‫לעקומת‬ ‫מתחת‬ ‫שטח‬ROC
•‫התמה‬ ‫לטיב‬ ‫מדד‬
•‫ש‬ ‫ככל‬-AUC‫ל‬ ‫קרוב‬ ‫יותר‬-1‫יותר‬ ‫טוב‬ ‫טיב‬

6. ‫החלטה‬ ‫עצי‬
•‫מודל‬ ‫של‬ ‫חדש‬ ‫סוג‬ ‫נלמד‬ ‫היום‬–‫החלטה‬ ‫עץ‬
•‫בעיות‬ ‫עבור‬ ‫וגם‬ ‫סיווג‬ ‫בעיות‬ ‫עבור‬ ‫גם‬ ‫להשתמש‬ ‫ניתן‬ ‫במודל‬
‫רגרסיה‬

7. ‫סיווג‬ ‫לבעיית‬ ‫דוגמא‬

8. ‫החלטה‬ ‫עצי‬
•‫להבנה‬ ‫ונוח‬ ‫קל‬ ‫מודל‬

9. ‫ניחושים‬ ‫משחק‬
•‫שאלות‬ ‫בעזרת‬:‫כן‬‫לא‬‫אדם‬ ‫בן‬ ‫לנחש‬ ‫יש‬

11. ‫לשאול‬ ‫יש‬ ‫בממוצע‬
2.25‫שאלות‬

12. ‫לשאול‬ ‫יש‬ ‫בממוצע‬
2.25‫שאלות‬

13. ‫ניחושים‬ ‫משחק‬
•‫שאלות‬ ‫בעזרת‬:‫כן‬‫לא‬‫אדם‬ ‫בן‬ ‫לנחש‬ ‫יש‬
•‫החלטה‬ ‫עץ‬ ‫בעזרת‬ ‫במשחק‬ ‫לשחק‬ ‫אפשר‬
•‫החלטה‬ ‫עצי‬ ‫מספר‬ ‫לבנות‬ ‫אפשר‬
•‫בהינתן‬ ‫ממוצעות‬ ‫שאלות‬ ‫כמות‬ ‫שממזער‬ ‫עץ‬ ‫לבחור‬ ‫אפשר‬
‫האנשים‬ ‫על‬ ‫התפלגות‬

14. ‫ניחושים‬ ‫משחק‬
•‫שאלות‬ ‫בעזרת‬:‫כן‬‫לא‬‫אדם‬ ‫בן‬ ‫לנחש‬ ‫יש‬
•‫החלטה‬ ‫עץ‬ ‫בעזרת‬ ‫במשחק‬ ‫לשחק‬ ‫אפשר‬
•‫החלטה‬ ‫עצי‬ ‫מספר‬ ‫לבנות‬ ‫אפשר‬
•‫בהינתן‬ ‫ממוצעות‬ ‫שאלות‬ ‫כמות‬ ‫שממזער‬ ‫עץ‬ ‫לבחור‬ ‫אפשר‬
‫האנשים‬ ‫על‬ ‫התפלגות‬
•‫טוב‬ ‫הכי‬ ‫עץ‬ ‫ניבחר‬ ‫איך‬?‫טוב‬ ‫הכי‬ ‫עץ‬ ‫זה‬ ‫מה‬?

15. ‫החלטה‬ ‫עץ‬-‫נוספת‬ ‫דוגמא‬

16. ‫החלטה‬ ‫עץ‬-‫נוספת‬ ‫דוגמא‬

17. ‫החלטה‬ ‫עץ‬-‫נוספת‬ ‫דוגמא‬

18. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬

19. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫חלוקה‬ ‫לעשות‬ ‫תכונה‬ ‫איזה‬ ‫לפי‬ ‫בוחר‬ ‫האלגוריתם‬ ‫איך‬?
•‫החלוקה‬ ‫לטיב‬ ‫שונים‬ ‫בקריטריונים‬ ‫שימוש‬ ‫ידי‬ ‫על‬

20. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫חלוקה‬ ‫לעשות‬ ‫תכונה‬ ‫איזה‬ ‫לפי‬ ‫בוחר‬ ‫האלגוריתם‬ ‫איך‬?
•‫החלוקה‬ ‫לטיב‬ ‫שונים‬ ‫בקריטריונים‬ ‫שימוש‬ ‫ידי‬ ‫על‬
•‫למשל‬,entropy and information gain

21. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫טובה‬ ‫הכי‬ ‫חלוקה‬ ‫מחזירים‬ ‫ולא‬ ‫חמדנים‬ ‫הם‬ ‫האלגוריתמים‬

22. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫בצומת‬ ‫אשר‬ ‫עד‬ ‫צומת‬ ‫של‬ ‫חלוקה‬ ‫להמשיך‬ ‫יכול‬ ‫האלגוריתם‬
‫להחליט‬ ‫ואז‬ ‫חלוקה‬ ‫לעצור‬ ‫או‬ ‫סוג‬ ‫מאותו‬ ‫הנתונים‬ ‫כל‬ ‫יהיו‬
‫רוב‬ ‫לפי‬(‫סיווג‬ ‫בעיות‬)‫ממוצע‬ ‫להחזיר‬ ‫או‬(‫רגרסיה‬ ‫בעיות‬)

23. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫לעצור‬ ‫מתי‬ ‫לאלגוריתם‬ ‫להגיש‬ ‫ניתן‬–‫ערך‬ ‫בחירת‬ ‫בעזרת‬
‫מתאים‬ ‫פרמטר‬ ‫של‬

24. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫יתר‬ ‫ללמידת‬ ‫סיכוי‬ ‫יותר‬ ‫יהי‬ ‫כך‬ ‫ארוך‬ ‫יותר‬ ‫עץ‬ ‫שנגדל‬ ‫ככל‬

25. ‫החלטה‬ ‫עץ‬
•‫החלטה‬ ‫עץ‬ ‫לבנות‬ ‫יכול‬ ‫נתונים‬ ‫שבינתן‬ ‫אלגוריתמים‬ ‫קיימים‬
‫משתנה‬ ‫של‬ ‫ערך‬ ‫לחזות‬ ‫או‬ ‫הנתונים‬ ‫את‬ ‫לסווג‬ ‫נוכל‬ ‫שבעזרתו‬
‫מספרי‬
•‫יתר‬ ‫ללמידת‬ ‫סיכוי‬ ‫יותר‬ ‫יהי‬ ‫כך‬ ‫ארוך‬ ‫יותר‬ ‫עץ‬ ‫שנגדל‬ ‫ככל‬
•‫הסוף‬ ‫עד‬ ‫העץ‬ ‫את‬ ‫מגדלים‬ ‫לפעמים‬ ‫יתר‬ ‫למידת‬ ‫למנוע‬ ‫כדי‬
‫העץ‬ ‫של‬ ‫גיזום‬ ‫מבצעים‬ ‫ואז‬

26. ‫דוגמא‬:IRIS

27. ‫דוגמא‬:IRIS

28. ‫דוגמא‬:IRIS

29. ‫דוגמא‬:IRIS

30. ‫דוגמא‬:IRIS

31. ‫דוגמא‬:IRIS

33. ‫דוגמא‬:IRIS

38. ‫דוגמא‬:‫עליון‬ ‫משפט‬ ‫בית‬ ‫של‬ ‫החלטות‬
http://wusct.wustl.edu/data.php

40. CART - information
• http://www.statmethods.net/advstats/cart.html

41. Random Forest
‫אקראי‬ ‫יער‬
•‫החלטה‬ ‫עץ‬ ‫של‬ ‫איכות‬ ‫לשפר‬ ‫מיועד‬

42. Random Forest
‫אקראי‬ ‫יער‬
•‫החלטה‬ ‫עץ‬ ‫של‬ ‫איכות‬ ‫לשפר‬ ‫מיועד‬
•‫אחד‬ ‫החלטה‬ ‫עץ‬ ‫במקום‬ ‫בונה‬,‫מקבל‬ ‫ואז‬ ‫החלטה‬ ‫עצי‬ ‫המון‬
‫רוב‬ ‫לפי‬ ‫החלטה‬(‫סיווג‬)‫ממוצע‬ ‫לפי‬ ‫או‬(‫רגרסיה‬)

43. Random Forest
‫אקראי‬ ‫יער‬
•‫החלטה‬ ‫עץ‬ ‫של‬ ‫איכות‬ ‫לשפר‬ ‫מיועד‬
•‫אחד‬ ‫החלטה‬ ‫עץ‬ ‫במקום‬ ‫בונה‬,‫מקבל‬ ‫ואז‬ ‫החלטה‬ ‫עצי‬ ‫המון‬
‫רוב‬ ‫לפי‬ ‫החלטה‬(‫סיווג‬)‫ממוצע‬ ‫לפי‬ ‫או‬(‫רגרסיה‬)
•‫לפירוש‬ ‫קשה‬ ‫יותר‬ ‫למודל‬ ‫המודל‬ ‫את‬ ‫הופך‬

44. Random Forest
‫אקראי‬ ‫יער‬
•‫החלטה‬ ‫עץ‬ ‫של‬ ‫איכות‬ ‫לשפר‬ ‫מיועד‬
•‫אחד‬ ‫החלטה‬ ‫עץ‬ ‫במקום‬ ‫בונה‬,‫מקבל‬ ‫ואז‬ ‫החלטה‬ ‫עצי‬ ‫המון‬
‫רוב‬ ‫לפי‬ ‫החלטה‬(‫סיווג‬)‫ממוצע‬ ‫לפי‬ ‫או‬(‫רגרסיה‬)
•‫לפירוש‬ ‫קשה‬ ‫יותר‬ ‫למודל‬ ‫המודל‬ ‫את‬ ‫הופך‬
•‫התצפיות‬ ‫כל‬ ‫של‬ ‫אוסף‬ ‫מתת‬ ‫נבנה‬ ‫עץ‬ ‫כל‬:
• bagging
• boosting

45. Random Forest
‫אקראי‬ ‫יער‬
•‫התצפיות‬ ‫כל‬ ‫של‬ ‫אוסף‬ ‫מתת‬ ‫נבנה‬ ‫עץ‬ ‫כל‬:
•‫חזרות‬ ‫עם‬ ‫להיות‬ ‫יכולה‬ ‫הבחירה‬
•‫זמן‬ ‫יותר‬ ‫תעבוד‬ ‫אלגוריתם‬ ‫עצים‬ ‫יותר‬ ‫שנבנה‬ ‫ככל‬

46. ‫דוגמא‬

47. ‫דוגמא‬

48. Cross Validation
•‫אלגוריתמים‬ ‫של‬ ‫שונים‬ ‫פרמטרים‬ ‫של‬ ‫בחירת‬ ‫שראינו‬ ‫כמו‬
‫כגון‬ ‫לימוד‬:mintreenum, minbucket‫על‬ ‫להשפיע‬ ‫יכולה‬
‫למידה‬ ‫תוצאות‬

49. Cross Validation
•‫אלגוריתמים‬ ‫של‬ ‫שונים‬ ‫פרמטרים‬ ‫של‬ ‫בחירת‬ ‫שראינו‬ ‫כמו‬
‫כגון‬ ‫לימוד‬:mintreenum, minbucket‫על‬ ‫להשפיע‬ ‫יכולה‬
‫למידה‬ ‫תוצאות‬
•‫הפרמטרים‬ ‫את‬ ‫נבחר‬ ‫איך‬?

50. Cross Validation
•‫אלגוריתמים‬ ‫של‬ ‫שונים‬ ‫פרמטרים‬ ‫של‬ ‫בחירת‬ ‫שראינו‬ ‫כמו‬
‫כגון‬ ‫לימוד‬:mintreenum, minbucket‫על‬ ‫להשפיע‬ ‫יכולה‬
‫למידה‬ ‫תוצאות‬
•‫הפרמטרים‬ ‫את‬ ‫נבחר‬ ‫איך‬?
•‫רע‬ ‫רעיון‬:‫טיב‬ ‫שנותנת‬ ‫זו‬ ‫ולבחור‬ ‫האפשרויות‬ ‫כל‬ ‫על‬ ‫לעבור‬
‫טסט‬ ‫קבוצת‬ ‫עבור‬ ‫טובה‬ ‫הכי‬

51. Cross Validation
•‫אלגוריתמים‬ ‫של‬ ‫שונים‬ ‫פרמטרים‬ ‫של‬ ‫בחירת‬ ‫שראינו‬ ‫כמו‬
‫כגון‬ ‫לימוד‬:mintreenum, minbucket‫על‬ ‫להשפיע‬ ‫יכולה‬
‫למידה‬ ‫תוצאות‬
•‫הפרמטרים‬ ‫את‬ ‫נבחר‬ ‫איך‬?
•‫רע‬ ‫רעיון‬:‫טיב‬ ‫שנותנת‬ ‫זו‬ ‫ולבחור‬ ‫האפשרויות‬ ‫כל‬ ‫על‬ ‫לעבור‬
‫טסט‬ ‫קבוצת‬ ‫עבור‬ ‫טובה‬ ‫הכי‬

52. K-FOLD CROSS VALIDATION
•‫ב‬ ‫נעזר‬ ‫הפרמטרים‬ ‫בחירת‬ ‫לשם‬-k-fold cross validation

53. K-FOLD CROSS VALIDATION
•‫ב‬ ‫נעזר‬ ‫הפרמטרים‬ ‫בחירת‬ ‫לשם‬-k-fold cross validation

54. K-FOLD CROSS VALIDATION
for TREES
•‫בפרמטר‬ ‫נעזר‬CP‫העץ‬ ‫של‬ ‫מורכבות‬ ‫שמתאר‬
•CP‫וארוך‬ ‫מורכב‬ ‫יותר‬ ‫לעץ‬ ‫מתאים‬ ‫יותר‬ ‫קטן‬

55. Links
• Course videos: https://goo.gl/osnGa7
• Course slides:
https://www.slideshare.net/igorkleiner5
• Course Facebook group: https://goo.gl/7WzpTU
• email: igkleiner@gmail.com