מערכות לומדות פגישה 7-1 יער אקראי bagging boosting random forest cross validation

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 7/ Part 1
‫החלטה‬ ‫עצי‬
bagging, boosting
2017

2. ‫תזכורת‬

5. K-FOLD CROSS VALIDATION
•‫ב‬ ‫נעזר‬ ‫הפרמטרים‬ ‫בחירת‬ ‫לשם‬-k-fold cross validation

6. ‫החלטה‬ ‫עצי‬
•‫בעיות‬ ‫עבור‬ ‫גם‬ ‫החלטה‬ ‫בעצי‬ ‫להשתמש‬ ‫אפשר‬‫סיווג‬‫בעיות‬ ‫עבור‬ ‫וגם‬
‫רגרסיה‬
•‫כללי‬ ‫לפרש‬ ‫קשה‬ ‫ויותר‬ ‫עץ‬ ‫של‬ ‫החלטה‬ ‫כללי‬ ‫לפרש‬ ‫כל‬ ‫כלל‬ ‫בדרך‬
‫יער‬ ‫של‬ ‫החלטה‬
•‫בודד‬ ‫החלטה‬ ‫עץ‬ ‫כלל‬ ‫בדרך‬"‫מפסיד‬"‫מתקדם‬ ‫יותר‬ ‫למידה‬ ‫לאלגוריתם‬

7. ‫החלטה‬ ‫עצי‬
•‫בעיות‬ ‫עבור‬ ‫גם‬ ‫החלטה‬ ‫בעצי‬ ‫להשתמש‬ ‫אפשר‬‫סיווג‬‫עבור‬ ‫וגם‬
‫בעיות‬‫רגרסיה‬
•‫כללי‬ ‫לפרש‬ ‫קשה‬ ‫ויותר‬ ‫עץ‬ ‫של‬ ‫החלטה‬ ‫כללי‬ ‫לפרש‬ ‫כל‬ ‫כלל‬ ‫בדרך‬
‫יער‬ ‫של‬ ‫החלטה‬
•‫בודד‬ ‫החלטה‬ ‫עץ‬ ‫כלל‬ ‫בדרך‬"‫מפסיד‬"‫מתקדם‬ ‫יותר‬ ‫למידה‬ ‫לאלגוריתם‬

8. ‫החלטה‬ ‫עצי‬
•‫בעיות‬ ‫עבור‬ ‫גם‬ ‫החלטה‬ ‫בעצי‬ ‫להשתמש‬ ‫אפשר‬‫סיווג‬‫בעיות‬ ‫עבור‬ ‫וגם‬
‫רגרסיה‬
•‫כללי‬ ‫לפרש‬ ‫קשה‬ ‫ויותר‬ ‫עץ‬ ‫של‬ ‫החלטה‬ ‫כללי‬ ‫לפרש‬ ‫כל‬ ‫כלל‬ ‫בדרך‬
‫יער‬ ‫של‬ ‫החלטה‬
•‫בודד‬ ‫החלטה‬ ‫עץ‬ ‫כלל‬ ‫בדרך‬"‫מפסיד‬"‫מתקדם‬ ‫יותר‬ ‫למידה‬ ‫לאלגוריתם‬

9. ‫החלטה‬ ‫עצי‬
•‫בעיות‬ ‫עבור‬ ‫גם‬ ‫החלטה‬ ‫בעצי‬ ‫להשתמש‬ ‫אפשר‬‫סיווג‬‫בעיות‬ ‫עבור‬ ‫וגם‬
‫רגרסיה‬
•‫כללי‬ ‫לפרש‬ ‫קשה‬ ‫ויותר‬ ‫עץ‬ ‫של‬ ‫החלטה‬ ‫כללי‬ ‫לפרש‬ ‫כל‬ ‫כלל‬ ‫בדרך‬
‫יער‬ ‫של‬ ‫החלטה‬
•‫בודד‬ ‫החלטה‬ ‫עץ‬ ‫כלל‬ ‫בדרך‬"‫מפסיד‬"‫יותר‬ ‫למידה‬ ‫לאלגוריתם‬
‫מתקדם‬

10. ‫החלטה‬ ‫עצי‬
•‫של‬ ‫כלשהי‬ ‫חלוקה‬ ‫עבור‬ ‫החלטה‬ ‫כללי‬ ‫לבנות‬ ‫אפשר‬ ‫עיקרון‬ ‫ברמת‬
‫התכונות‬ ‫מרחב‬
•‫מימדיות‬ ‫רב‬ ‫לקוביות‬ ‫בחלוקות‬ ‫משתמשים‬ ‫אבל‬
•‫ובדרך‬ ‫חמדני‬ ‫הוא‬ ‫עץ‬ ‫לבניה‬ ‫אלגוריתם‬‫כלל‬‫תוצאה‬ ‫מחזיר‬ ‫לא‬
‫אופטימלית‬

11. ‫החלטה‬ ‫עצי‬
•‫מרחב‬ ‫של‬ ‫כלשהי‬ ‫חלוקה‬ ‫עבור‬ ‫החלטה‬ ‫כללי‬ ‫לבנות‬ ‫אפשר‬ ‫עיקרון‬ ‫ברמת‬
‫התכונות‬
•‫אבל‬‫מימדיות‬ ‫רב‬ ‫לקוביות‬ ‫בחלוקות‬ ‫משתמשים‬
•‫ובדרך‬ ‫חמדני‬ ‫הוא‬ ‫עץ‬ ‫לבניה‬ ‫אלגוריתם‬‫כלל‬‫תוצאה‬ ‫מחזיר‬ ‫לא‬
‫אופטימלית‬

12. ‫החלטה‬ ‫עצי‬
•‫מרחב‬ ‫של‬ ‫כלשהי‬ ‫חלוקה‬ ‫עבור‬ ‫החלטה‬ ‫כללי‬ ‫לבנות‬ ‫אפשר‬ ‫עיקרון‬ ‫ברמת‬
‫התכונות‬
•‫מימדיות‬ ‫רב‬ ‫לקוביות‬ ‫בחלוקות‬ ‫משתמשים‬ ‫אבל‬
•‫תוצאה‬ ‫מחזיר‬ ‫לא‬ ‫כלל‬ ‫ובדרך‬ ‫חמדני‬ ‫הוא‬ ‫עץ‬ ‫לבניה‬ ‫אלגוריתם‬
‫אופטימלית‬

13. ‫קצרה‬ ‫שאלה‬

14. ‫קצרה‬ ‫שאלה‬

15. ‫עץ‬ ‫של‬ ‫גיזום‬
•‫יתר‬ ‫בלמידת‬ ‫לתקל‬ ‫יכולים‬ ‫הסוף‬ ‫עד‬ ‫העץ‬ ‫את‬ ‫לבנות‬ ‫נמשיך‬ ‫אם‬
•‫בנתונים‬ ‫שיש‬ ‫לרעש‬ ‫עצמו‬ ‫את‬ ‫שיתאים‬ ‫מורכב‬ ‫עץ‬ ‫נקבל‬
•‫הגיזום‬ ‫בשיטת‬ ‫משמשים‬ ‫יתר‬ ‫מלמידת‬ ‫להימנע‬ ‫כדי‬(pruning)

16. ‫החלטה‬ ‫כלל‬
•‫בעלה‬ ‫הדוגמאות‬ ‫רוב‬ ‫לפי‬ ‫החלטה‬ ‫מקבלים‬ ‫סיווג‬ ‫בעיות‬ ‫עבור‬
•‫ממוצע‬ ‫לפי‬ ‫החלטה‬ ‫מקבלים‬ ‫רגרסיה‬ ‫בעיות‬ ‫עבור‬‫בעלה‬ ‫הדוגמאות‬ ‫חציון‬
•‫מתאים‬ ‫פרמטר‬ ‫בחירה‬ ‫ידי‬ ‫על‬ ‫יותר‬ ‫טוב‬ ‫החלטה‬ ‫עץ‬ ‫לבחור‬ ‫אפשר‬
‫העץ‬ ‫את‬ ‫שבונה‬ ‫לפונקציה‬

17. Classification Tree example
•‫מטרה‬:‫ניתוח‬ ‫לאחר‬ ‫ָה‬‫י‬ ִ‫צ‬ַ‫פֹורמ‬ֵ‫ד‬ ‫של‬ ‫סוג‬ ‫חיזוי‬

18. Classification Tree example
•‫מטרה‬:‫ניתוח‬ ‫לאחר‬ ‫ָה‬‫י‬ ִ‫צ‬ַ‫פֹורמ‬ֵ‫ד‬ ‫של‬ ‫סוג‬ ‫חיזוי‬

25. Regression Tree Example

26. Regression Tree Example

27. Regression Tree Example

28. Regression Tree Example

30. Random Forest
•‫השיטה‬ ‫של‬ ‫רעיון‬:‫עצים‬ ‫של‬ ‫רב‬ ‫מספר‬ ‫נבנה‬
•‫טובה‬ ‫מאוד‬ ‫לא‬ ‫היא‬ ‫בודד‬ ‫עץ‬ ‫כל‬ ‫של‬ ‫איכות‬ ‫אם‬ ‫אפילו‬
•‫החלטה‬ ‫לקבל‬ ‫העצים‬ ‫לכל‬ ‫ניתן‬–"‫רוב‬ ‫חכמת‬"

31. Random Forest
•‫השיטה‬ ‫של‬ ‫רעיון‬:‫עצים‬ ‫של‬ ‫רב‬ ‫מספר‬ ‫נבנה‬
•‫טובה‬ ‫מאוד‬ ‫לא‬ ‫היא‬ ‫בודד‬ ‫עץ‬ ‫כל‬ ‫של‬ ‫איכות‬ ‫אם‬ ‫אפילו‬
•‫החלטה‬ ‫לקבל‬ ‫העצים‬ ‫לכל‬ ‫ניתן‬–"‫רוב‬ ‫חכמת‬"
•‫שונות‬ ‫גישות‬:
• bagging
• random forest
• bosting: adaboost, xboost, gbm, …

32. Bagging

33. Bagging Example

34. Random Forest
• RF provides an improvement over bagging by using set of
decorrelated trees
• For classification sets mtry= sqrt(features num)
• For regression sets mtry= (features num)/3
•‫של‬ ‫ערך‬ ‫לבחור‬ ‫אפשר‬mtry‫ב‬ ‫שימוש‬ ‫ידי‬ ‫על‬-parameters tuning
•‫כנ‬"‫פרמטר‬ ‫לגבי‬ ‫ל‬ntree

35. Random Forest Example

36. Random Forest Example

37. Boosting
•bagging‫דטה‬ ‫אותו‬ ‫על‬ ‫החלטה‬ ‫עצי‬ ‫של‬ ‫אוסף‬ ‫בונה‬,‫בנוי‬ ‫עץ‬ ‫כל‬ ‫כאשר‬
‫אחרים‬ ‫בעצים‬ ‫תלוי‬ ‫בלתי‬ ‫באופן‬
•boosting‫סדרתי‬ ‫באופן‬ ‫עצים‬ ‫בונה‬,‫תוצאות‬ ‫בחשבון‬ ‫לוקח‬ ‫עץ‬ ‫כל‬
‫קודמים‬ ‫עצים‬ ‫של‬ ‫עבודה‬

38. Boosting
•‫כלל‬ ‫בדרך‬boosting‫טובות‬ ‫תוצאות‬ ‫נותן‬

39. Tuning Parameters for Boosting
• number of trees
• shrinkage parameter
• number of splits

40. Tuning Parameters for Boosting
• number of trees B
•B‫יתר‬ ‫ללמידת‬ ‫להביא‬ ‫יכול‬ ‫גדול‬ ‫מאוד‬,‫ב‬ ‫להשתמש‬ ‫כדי‬-CV‫לבחור‬ ‫כדי‬
‫של‬ ‫ערך‬B
• shrinkage parameter
• number of splits

41. Tuning Parameters for Boosting
• number of trees
• shrinkage parameter
•‫קטן‬ ‫חיובי‬ ‫מספר‬0.01‫או‬0.001,‫ל‬ ‫מביא‬ ‫קטן‬ ‫מאוד‬ ‫כלל‬ ‫בדרך‬-B
‫גדול‬ ‫יותר‬
• number of splits

42. Tuning Parameters for Boosting
• number of trees
• shrinkage parameter
• number of splits D
•D=1‫טוב‬ ‫עובד‬ ‫כלל‬ ‫בדרך‬

43. Links
• Course videos: https://goo.gl/osnGa7
• Course slides:
https://www.slideshare.net/igorkleiner5
• Course Facebook group: https://goo.gl/7WzpTU
• email: igkleiner@gmail.com