מערכות לומדות פגישה 3 חלק 3 רגרסיה חד מימדית דוגמא ראשונית לרגרסיה פתרון ב-R

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 3/ Part 3
‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
2017

2. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫ממדי‬ ‫חד‬ ‫הינו‬ ‫תלויים‬ ‫בלתי‬ ‫משתנים‬ ‫של‬ ‫שווקטור‬ ‫נניח‬ ‫כעת‬
•‫לדוגמא‬,‫על‬ ‫אדם‬ ‫בן‬ ‫של‬ ‫משכורת‬ ‫לחזות‬ ‫רוצים‬ ‫שאנו‬ ‫נניח‬
‫שלו‬ ‫ותק‬ ‫סמך‬
•X-?
•Y-?

3. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫ממדי‬ ‫חד‬ ‫הינו‬ ‫תלויים‬ ‫בלתי‬ ‫משתנים‬ ‫של‬ ‫שווקטור‬ ‫נניח‬ ‫כעת‬
•‫לדוגמא‬,‫על‬ ‫אדם‬ ‫בן‬ ‫של‬ ‫משכורת‬ ‫לחזות‬ ‫רוצים‬ ‫שאנו‬ ‫נניח‬
‫שלו‬ ‫ותק‬ ‫סמך‬
•X-‫ותק‬,‫תלוי‬ ‫בלתי‬ ‫משתנה‬,‫כמותי‬ ‫משתנה‬
•Y-?

4. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫ממדי‬ ‫חד‬ ‫הינו‬ ‫תלויים‬ ‫בלתי‬ ‫משתנים‬ ‫של‬ ‫שווקטור‬ ‫נניח‬ ‫כעת‬
•‫לדוגמא‬,‫על‬ ‫אדם‬ ‫בן‬ ‫של‬ ‫משכורת‬ ‫לחזות‬ ‫רוצים‬ ‫שאנו‬ ‫נניח‬
‫שלו‬ ‫ותק‬ ‫סמך‬
•X-‫ותק‬,‫תלוי‬ ‫בלתי‬ ‫משתנה‬,‫כמותי‬ ‫משתנה‬
•Y-‫משכורת‬,‫תלוי‬ ‫משתנה‬,‫כמותי‬ ‫משתה‬-‫רציף‬

5. ‫ותק‬

6. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫לקרב‬ ‫ניתן‬ ‫שבעזרתה‬ ‫פשוטה‬ ‫הכי‬ ‫פונקציה‬ ‫היא‬ ‫מהי‬f?

7. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫לקרב‬ ‫ניתן‬ ‫שבעזרתה‬ ‫פשוטה‬ ‫הכי‬ ‫פונקציה‬ ‫היא‬ ‫מהי‬f?
•‫ישר‬ ‫קו‬

8. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫לקרב‬ ‫ניתן‬ ‫שבעזרתה‬ ‫פשוטה‬ ‫הכי‬ ‫פונקציה‬ ‫היא‬ ‫מהי‬f?
•‫ישר‬ ‫קו‬
•‫נבחר‬ ‫ישר‬ ‫קו‬ ‫איזה‬?

9. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫לקרב‬ ‫ניתן‬ ‫שבעזרתה‬ ‫פשוטה‬ ‫הכי‬ ‫פונקציה‬ ‫היא‬ ‫מהי‬f?
•‫ישר‬ ‫קו‬
•‫נבחר‬ ‫ישר‬ ‫קו‬ ‫איזה‬?
•‫ישר‬ ‫קו‬ ‫להעביר‬ ‫אפשר‬y=average(yi)

10. ‫ותק‬

11. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫לקרב‬ ‫ניתן‬ ‫שבעזרתה‬ ‫פשוטה‬ ‫הכי‬ ‫פונקציה‬ ‫היא‬ ‫מהי‬f?
•‫ישר‬ ‫קו‬
•‫נבחר‬ ‫ישר‬ ‫קו‬ ‫איזה‬?
•‫ישר‬ ‫קו‬ ‫להעביר‬ ‫אפשר‬y=average(yi)
•‫לכל‬ ‫חיזוי‬ ‫ואז‬x,‫ב‬ ‫תלוי‬ ‫יהי‬ ‫לא‬-x‫למשכורת‬ ‫שווה‬ ‫ויהי‬
‫ממוצעת‬

12. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫בוותק‬ ‫גם‬ ‫שמתחשב‬ ‫קו‬ ‫למצוא‬ ‫ננסה‬
•‫יהי‬ ‫לנקודות‬ ‫ממנו‬ ‫האנכיים‬ ‫מרחקים‬ ‫שסכום‬ ‫קו‬ ‫נמצא‬
‫מינימלי‬?

13. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫בוותק‬ ‫גם‬ ‫שמתחשב‬ ‫קו‬ ‫למצוא‬ ‫ננסה‬
•‫יהי‬ ‫לנקודות‬ ‫ממנו‬ ‫בריבוע‬ ‫האנכיים‬ ‫מרחקים‬ ‫שסכום‬ ‫קו‬ ‫נמצא‬
‫מינימלי‬?

14. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫בוותק‬ ‫גם‬ ‫שמתחשב‬ ‫קו‬ ‫למצוא‬ ‫ננסה‬
•‫יהי‬ ‫לנקודות‬ ‫ממנו‬ ‫בריבוע‬ ‫האנכיים‬ ‫מרחקים‬ ‫שסכום‬ ‫קו‬ ‫נמצא‬
‫מינימלי‬?
•‫המודל‬:
•‫כאשר‬:‫ה‬ ‫בתצפית‬ ‫אקראית‬ ‫טעות‬-i‫ית‬
•‫את‬ ‫לחשב‬ ‫יש‬‫ש‬ ‫כך‬:
iii xxfy   110)(
i
10 ,


N
i
i xy
1
2
110 min)( 

15. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫פשוטה‬ ‫אופטימיזציה‬ ‫בעיה‬ ‫זאת‬
•‫ומקבלים‬ ‫גזירה‬ ‫בעזרת‬ ‫אותה‬ ‫פותרים‬

16. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
•‫פשוטה‬ ‫אופטימיזציה‬ ‫בעיה‬ ‫זאת‬
•‫ומקבלים‬ ‫גזירה‬ ‫בעזרת‬ ‫אותה‬ ‫פותרים‬
•‫של‬ ‫ערך‬ ‫לכל‬ ‫חזאי‬ ‫לחשב‬ ‫אפשר‬ ‫שמצאנו‬ ‫לאחר‬x 10 ,
xxf 10)(  

17. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
‫ב‬ ‫דוגמא‬-R

18. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
‫ב‬ ‫דוגמא‬-R

19. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
‫ב‬ ‫דוגמא‬-R

20. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
‫ב‬ ‫דוגמא‬-R

21. ‫ממדית‬ ‫חד‬ ‫לינארית‬ ‫רגרסיה‬
‫ב‬ ‫דוגמא‬-R

22. ‫לינארית‬ ‫רגרסיה‬
•‫לינארית‬ ‫רגרסיה‬‫פונקציה‬ ‫לקרב‬ ‫מהדרכים‬ ‫אחד‬f‫עבור‬Y‫שמקבל‬
‫ממשיים‬ ‫ערכים‬

23. ‫למידה‬ ‫מודל‬
•‫מרחב‬‫השערות‬:‫לינאריות‬ ‫פונקציות‬ ‫אוסף‬
•‫למידה‬ ‫אלגוריתם‬:‫בוחר‬f‫מהקו‬ ‫ריבוניות‬ ‫סטיות‬ ‫סכום‬ ‫מזעור‬ ‫ידי‬ ‫על‬
xxf 10)(  

24. ‫חשובות‬ ‫שאלות‬
•‫שלנו‬ ‫חזאי‬ ‫של‬ ‫איכות‬ ‫מהי‬
•‫האיכות‬ ‫את‬ ‫נעריך‬ ‫איך‬
•‫בלתי‬ ‫משתני‬ ‫של‬ ‫כלשהי‬ ‫לכמות‬ ‫מודל‬ ‫להכליל‬ ‫אפשר‬ ‫האם‬‫תלוים‬?

25. Links
• Course videos: https://goo.gl/osnGa7
• Course slides:
https://www.slideshare.net/igorkleiner5
• Course Facebook group: https://goo.gl/7WzpTU
• email: igkleiner@gmail.com