רגרסיה ליניארית נושאים מתקדמים סיכום

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 4/ Part 1
‫כיתה‬ ‫תרגילי‬,‫חסרים‬ ‫ערכים‬,‫אינטראקציות‬
2017

2. ‫כתה‬ ‫תרגיל‬
Reading Test Scores
• Data Source:
• https://nces.ed.gov/pubsearch/pubsinfo.asp?pubid=2011038

4. ‫כיתה‬ ‫תרגיל‬
Forecasting Sales

5. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬

6. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬
•‫זו‬ ‫בבעיה‬ ‫לטפל‬ ‫אפשר‬ ‫איך‬?

7. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬
•‫זו‬ ‫בבעיה‬ ‫לטפל‬ ‫אפשר‬ ‫איך‬?
•‫מתצפיות‬ ‫להתעלם‬ ‫אפשר‬(‫שורות‬)‫חסרים‬ ‫ערכים‬ ‫יש‬ ‫שבהן‬

8. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬
•‫זו‬ ‫בבעיה‬ ‫לטפל‬ ‫אפשר‬ ‫איך‬?
•‫מתצפיות‬ ‫להתעלם‬ ‫אפשר‬(‫שורות‬)‫חסרים‬ ‫ערכים‬ ‫יש‬ ‫שבהן‬
•‫יתרון‬:
•‫פשוט‬

9. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬
•‫זו‬ ‫בבעיה‬ ‫לטפל‬ ‫אפשר‬ ‫איך‬?
•‫מתצפיות‬ ‫להתעלם‬ ‫אפשר‬(‫שורות‬)‫חסרים‬ ‫ערכים‬ ‫יש‬ ‫שבהן‬
•‫יתרון‬:
•‫פשוט‬
•‫חסרון‬:
•‫מידע‬ ‫איבוד‬
•‫נתונים‬ ‫יישארו‬ ‫לא‬

10. ‫חסרים‬ ‫ערכים‬

11. ‫חסרים‬ ‫ערכים‬
•‫חסרים‬ ‫יהיו‬ ‫מהנתונים‬ ‫חלק‬ ‫לפעמים‬
•‫זו‬ ‫בבעיה‬ ‫לטפל‬ ‫אפשר‬ ‫איך‬?
•‫מתצפיות‬ ‫להתעלם‬ ‫אפשר‬(‫שורות‬)‫חסרים‬ ‫ערכים‬ ‫יש‬ ‫שבהן‬
•‫להשלים‬ ‫אפשר‬‫חסרים‬ ‫ערכים‬ ‫לנחש‬:imputation
•‫הכי‬ ‫תצפית‬ ‫לבחור‬ ‫אפשר‬‫דומה‬‫אותו‬ ‫ולקחת‬ ‫חסר‬ ‫ערך‬ ‫בה‬ ‫שיש‬ ‫לזו‬
‫ממנה‬
•‫ממוצע‬ ‫ידי‬ ‫על‬ ‫חסר‬ ‫ערך‬ ‫לקרב‬ ‫אפשר‬
•....

12. ‫גומלין‬ ‫יחסי‬
Interactions
•‫תלוי‬ ‫משתנה‬ ‫על‬ ‫מסוימת‬ ‫תכונה‬ ‫שהשפעה‬ ‫המצב‬ ‫ייתכן‬Y
‫אחרת‬ ‫תכונה‬ ‫של‬ ‫בערך‬ ‫גם‬ ‫תלויה‬:‫אינטראקציה‬
•‫אינטראקציה‬ ‫של‬ ‫משתנה‬ ‫את‬ ‫להוסיף‬ ‫ניתן‬ ‫כאלו‬ ‫במקרים‬
‫למודל‬:
  21322110 XXXXY

13. ‫גומלין‬ ‫יחסי‬
‫דוגמא‬
  21322110 XXXXY

14. ‫גומלין‬ ‫יחסי‬
‫דוגמא‬
  21322110 XXXXY

15. ‫גומלין‬ ‫יחסי‬
‫דוגמא‬
  2130 XXY

16. Hierarchical Principle
•‫היררכי‬ ‫עקרון‬:‫יש‬ ‫אזי‬ ‫אינטראקציה‬ ‫במודל‬ ‫מכילים‬ ‫אם‬
‫במודל‬ ‫שלה‬ ‫המשתנים‬ ‫את‬ ‫להכיל‬,‫אם‬ ‫אפילו‬p_value
‫גדול‬ ‫מאוד‬ ‫שלכם‬

17. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

18. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

19. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

20. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

21. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

22. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

23. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

24. ‫ליניאריים‬ ‫לא‬ ‫יחסים‬

25. k-Fold Cross-Validation for Linear
Regression

27. ‫ליניארית‬ ‫רגרסיה‬
‫סיכום‬
•‫הפשוטים‬ ‫מהמודלים‬ ‫אחד‬
•‫יתרון‬:
•‫למודל‬ ‫פרוש‬ ‫לתת‬ ‫קל‬
•‫בבעיה‬ ‫חיזוי‬ ‫ליכולת‬ ‫ראשונית‬ ‫כערכה‬ ‫זה‬ ‫במודל‬ ‫להשתמש‬ ‫כדאי‬
•‫חסרון‬:
•‫ליניארי‬ ‫לא‬ ‫הוא‬ ‫מודלים‬ ‫רוב‬

28. ‫נוסף‬ ‫קריאה‬ ‫חומר‬
• Introduction to Statistical Learning: part 2, part 3

29. Links
• Course videos: https://goo.gl/osnGa7
• Course slides:
https://www.slideshare.net/igorkleiner5
• Course Facebook group: https://goo.gl/7WzpTU
• email: igkleiner@gmail.com