רגרסיה לוגיבטית

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 4/ Part 2
‫מבוא‬ ‫לוגיסטית‬ ‫רגרסיה‬
2017

2. ‫מוטיבציה‬
•‫תלוי‬ ‫משתנה‬ ‫רגרסיה‬ ‫בבעיות‬Y‫ממשי‬ ‫הוא‬
•‫משתנה‬ ‫מהבעיות‬ ‫בחלק‬Y‫מאוסף‬ ‫ערכים‬ ‫מספר‬ ‫לקבל‬ ‫וכול‬
‫נתון‬

3. ‫מוטיבציה‬
•‫תלוי‬ ‫משתנה‬ ‫רגרסיה‬ ‫בבעיות‬Y‫ממשי‬ ‫הוא‬
•‫משתנה‬ ‫מהבעיות‬ ‫בחלק‬Y‫מאוסף‬ ‫ערכים‬ ‫מספר‬ ‫לקבל‬ ‫וכול‬
‫נתון‬
•‫למשל‬:
•‫מת‬ ‫או‬ ‫חיי‬ ‫אדם‬ ‫בן‬
•‫לא‬ ‫או‬ ‫מבחן‬ ‫עבר‬ ‫סטודנט‬
•‫עניים‬ ‫של‬ ‫צבע‬

4. Classification
•‫כאשר‬Y‫בעיית‬ ‫מסוג‬ ‫היא‬ ‫למידה‬ ‫הביעה‬ ‫איכותי‬ ‫משתנה‬ ‫הוא‬
‫סיווג‬

5. Classification
•‫כאשר‬Y‫בעיית‬ ‫מסוג‬ ‫היא‬ ‫למידה‬ ‫הביעה‬ ‫איכותי‬ ‫משתנה‬ ‫הוא‬
‫סיווג‬
•‫סיווג‬ ‫לבעיות‬ ‫גישות‬ ‫מספר‬ ‫קיים‬:
• logit
• LDA
• QDA
• …

6. Logit
•‫שבו‬ ‫ממקרה‬ ‫נתחיל‬Y‫רק‬ ‫מקבל‬2‫ערכים‬:1‫ו‬-0
•‫למשל‬1–‫רע‬ ‫טיפול‬ ‫קיבל‬ ‫מטופל‬,‫ו‬-0‫טיפול‬ ‫קיבל‬ ‫מטופל‬
‫הולם‬

7. Logit
•‫שבו‬ ‫ממקרה‬ ‫נתחיל‬Y‫רק‬ ‫מקבל‬2‫ערכים‬:1‫ו‬-0
•‫למשל‬1–‫רע‬ ‫טיפול‬ ‫קיבל‬ ‫מטופל‬,‫ו‬-0‫טיפול‬ ‫קיבל‬ ‫מטופל‬
‫הולם‬
•‫לנו‬ ‫מחזירה‬ ‫לוגיסטית‬ ‫רגרסיה‬‫הסתברות‬‫קיבל‬ ‫שמטופל‬
‫רע‬ ‫טיפול‬,‫בין‬ ‫מספר‬ ‫מחזירה‬ ‫היא‬ ‫כלומר‬0‫ל‬-1
• P(Y=1)=1-P(Y=0)

8. Logit
•‫תלויים‬ ‫משתנים‬(features)‫הם‬x1,….xp
•‫לא‬ ‫משתמים‬ ‫מוגבל‬ ‫לא‬ ‫מספר‬ ‫במקום‬ ‫הסתברות‬ ‫לקבל‬ ‫כדי‬
‫ב‬-
‫מתאימה‬ ‫בהתמרה‬ ‫אלה‬(‫ונוחות‬ ‫יפות‬ ‫תכונות‬ ‫בעלת‬)

9. Logit
•‫תלויים‬ ‫משתנים‬(features)‫הם‬x1,….xp
•‫לא‬ ‫משתמים‬ ‫מוגבל‬ ‫לא‬ ‫מספר‬ ‫במקום‬ ‫הסתברות‬ ‫לקבל‬ ‫כדי‬
‫ב‬-
‫מתאימה‬ ‫בהתמרה‬ ‫אלה‬(‫ונוחות‬ ‫יפות‬ ‫תכונות‬ ‫בעלת‬)

10. Logit
•‫בין‬ ‫מספרים‬ ‫מחזירה‬ ‫שהפונקציה‬ ‫להשתכנע‬ ‫קשה‬ ‫לא‬0‫ל‬-1
•‫ש‬ ‫ככל‬:‫כך‬ ‫יותר‬ ‫שלילי‬ ‫יהי‬
....
•‫ש‬ ‫ככל‬:‫כך‬ ‫יותר‬ ‫חיובי‬ ‫יהי‬
....

11. Logit
•‫בין‬ ‫מספרים‬ ‫מחזירה‬ ‫שהפונקציה‬ ‫להשתכנע‬ ‫קשה‬ ‫לא‬0‫ל‬-1
•‫ש‬ ‫ככל‬:‫כך‬ ‫יותר‬ ‫שלילי‬ ‫יהי‬
P->0
•‫ש‬ ‫ככל‬:‫כך‬ ‫יותר‬ ‫חיובי‬ ‫יהי‬
P->1

12. Sigmoid

13. ODDS
•‫סיכוים‬ ‫של‬ ‫בצורה‬ ‫לוגית‬ ‫על‬ ‫להסתכל‬ ‫אפשר‬
•‫ל‬ ‫שווים‬ ‫להיות‬ ‫סיכוים‬ ‫נגדיר‬-
•‫אזי‬:

14. ‫חשובות‬ ‫שאלות‬
•‫המודל‬ ‫של‬ ‫מקדמים‬ ‫נמצא‬ ‫אין‬?
•‫שנקבל‬ ‫המודל‬ ‫של‬ ‫טיב‬ ‫נבדוק‬ ‫איך‬?
•‫במודל‬ ‫בתה‬ ‫מקדמים‬ ‫של‬ ‫משמעות‬ ‫מה‬?

15. ‫מעשי‬ ‫תרגיל‬
•‫מטרה‬:‫לחזות‬ ‫שתאפשר‬ ‫הנתונים‬ ‫בעזרת‬ ‫חיזוי‬ ‫מודל‬ ‫לבנות‬
‫רע‬ ‫טיפול‬ ‫שיקבלו‬ ‫הסתברות‬ ‫חדשים‬ ‫לחולים‬

16. ‫מעשי‬ ‫תרגיל‬
•‫מטרה‬:‫לחזות‬ ‫שתאפשר‬ ‫הנתונים‬ ‫בעזרת‬ ‫חיזוי‬ ‫מודל‬ ‫לבנות‬
‫רע‬ ‫טיפול‬ ‫שיקבלו‬ ‫הסתברות‬ ‫חדשים‬ ‫לחולים‬
•‫לוגיסטית‬ ‫ברגרסיה‬ ‫נעזר‬

17. ‫מעשי‬ ‫תרגיל‬
•‫חולים‬ ‫של‬ ‫בנתונים‬ ‫נסתכל‬

18. ‫מעשי‬ ‫תרגיל‬
•‫חולים‬ ‫של‬ ‫בנתונים‬ ‫נסתכל‬

19. ‫מעשי‬ ‫תרגיל‬
•‫חולים‬ ‫של‬ ‫בנתונים‬ ‫נסתכל‬

20. ‫מעשי‬ ‫תרגיל‬
•‫חולים‬ ‫של‬ ‫בנתונים‬ ‫נסתכל‬

21. ‫מעשי‬ ‫תרגיל‬
•‫חולים‬ ‫של‬ ‫בנתונים‬ ‫נסתכל‬

22. ‫מעשי‬ ‫תרגיל‬
•‫קבוצות‬ ‫לשתי‬ ‫נתונים‬ ‫חלוקה‬:‫טסט‬ ‫וקבוצת‬ ‫לימוד‬ ‫קבוצת‬

23. ‫מעשי‬ ‫תרגיל‬

24. ‫מעשי‬ ‫תרגיל‬

25. AIC
•‫מודל‬ ‫לאיכות‬ ‫מדד‬
•‫ל‬ ‫בדומה‬-R2‫משתנים‬ ‫כמות‬ ‫בחשבון‬ ‫לוקח‬ ‫המדד‬ ‫מתוקנן‬
‫תלויים‬ ‫בלתי‬
•‫אותם‬ ‫על‬ ‫שהתקבלו‬ ‫מדדים‬ ‫עם‬ ‫המדדים‬ ‫את‬ ‫להשוואת‬ ‫ניתן‬
‫בדיוק‬ ‫נתונים‬

26. ‫חזאי‬ ‫בניית‬

27. ‫של‬ ‫מקדמים‬ ‫של‬ ‫ערכים‬ ‫מוצאים‬ ‫איך‬
‫תלויים‬ ‫בלתי‬ ‫משתנים‬?
• MLE
• Gradient Descent

28. Links
• Course videos: https://goo.gl/osnGa7
• Course slides:
https://www.slideshare.net/igorkleiner5
• Course Facebook group: https://goo.gl/7WzpTU
• email: igkleiner@gmail.com