מערכות לומדות פגישה 1 חלק 4: סילבוס data snooping חשיבות תאוריה אי ידע יכול להרון מוות בעריסה

1. ‫לומדות‬ ‫מערכות‬
Igor Kleiner
Lecture 1/ Part 4
‫קורס‬ ‫של‬ ‫סילבוס‬,‫קורס‬ ‫של‬ ‫מטרות‬
2017

2. ‫תזכורת‬

3. ‫הנושאים‬ ‫רשימת‬
• The learning problem
• Linear regression
• Perceptron
• Types of data
• Exploratory analysis
• Data preprocessing
• Error and noise
• Training and testing
• VC dimension,
generalization
• Logit regression
• Overfitting
• Regularization
• Validation
• SVM
• Random tree
• Boosting
• PCA, PLS
• Сlustering
• ML
• KNN
• Data scientist interview
• DS at work CRISP
• Feature selection
• Dimension reduction
• Lasso
• LDA
• Bias sampling
• Data snooping
• Critical thinking
theoreticalpracticalconceptualgeneral

4. ‫תאוריה‬ ‫שוב‬?

5. ‫תאוריה‬ ‫שוב‬?
•‫בהם‬ ‫להשתמש‬ ‫ולדעת‬ ‫ממוחשבת‬ ‫ללמידה‬ ‫שיטות‬ ‫ללמוד‬ ‫מספיק‬ ‫אולי‬
‫שחורה‬ ‫כבתיבה‬?

6. ‫דוגמא‬1:‫בורסה‬
•‫מרטה‬:‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫לבנות‬

7. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫היסטוריים‬ ‫נתונים‬ ‫לקחו‬
•‫הנתונים‬ ‫כל‬ ‫של‬ ‫נירמול‬ ‫ביצוע‬
•‫חלקים‬ ‫לשתי‬ ‫דטה‬ ‫חלוקה‬:Dtrain, Dtest
•‫בקבוצת‬ ‫נתונים‬ ‫על‬ ‫למידה‬ ‫באלגוריתם‬ ‫שימוש‬Dtrain
•‫קבוצת‬ ‫על‬ ‫האלגוריתם‬ ‫עבודה‬ ‫איכות‬ ‫בדיקת‬Dtest

8. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫היסטוריים‬ ‫נתונים‬ ‫לקחו‬
•‫הנתונים‬ ‫כל‬ ‫של‬ ‫נירמול‬ ‫ביצוע‬
•‫חלקים‬ ‫לשתי‬ ‫דטה‬ ‫חלוקה‬:Dtrain, Dtest
•‫בקבוצת‬ ‫נתונים‬ ‫על‬ ‫למידה‬ ‫באלגוריתם‬ ‫שימוש‬Dtrain
•‫קבוצת‬ ‫על‬ ‫האלגוריתם‬ ‫עבודה‬ ‫איכות‬ ‫בדיקת‬Dtest
•‫מדהימות‬ ‫תוצאות‬ ‫הראה‬ ‫אחרון‬ ‫שלב‬

9. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫היסטוריים‬ ‫נתונים‬ ‫לקחו‬
•‫הנתונים‬ ‫כל‬ ‫של‬ ‫נירמול‬ ‫ביצוע‬
•‫חלקים‬ ‫לשתי‬ ‫דטה‬ ‫חלוקה‬:Dtrain, Dtest
•‫בקבוצת‬ ‫נתונים‬ ‫על‬ ‫למידה‬ ‫באלגוריתם‬ ‫שימוש‬Dtrain
•‫קבוצת‬ ‫על‬ ‫האלגוריתם‬ ‫עבודה‬ ‫איכות‬ ‫בדיקת‬Dtest
•‫נוראיות‬ ‫היו‬ ‫התוצאות‬ ‫בפועל‬

10. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫היסטוריים‬ ‫נתונים‬ ‫לקחו‬
•‫הנתונים‬ ‫כל‬ ‫של‬ ‫נירמול‬ ‫ביצוע‬
•‫חלקים‬ ‫לשתי‬ ‫דטה‬ ‫חלוקה‬:Dtrain, Dtest
•‫בקבוצת‬ ‫נתונים‬ ‫על‬ ‫למידה‬ ‫באלגוריתם‬ ‫שימוש‬Dtrain
•‫קבוצת‬ ‫על‬ ‫האלגוריתם‬ ‫עבודה‬ ‫איכות‬ ‫בדיקת‬Dtest
•‫נוראיות‬ ‫היו‬ ‫התוצאות‬ ‫בפועל‬
•‫קרה‬ ‫מה‬?

11. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫קרה‬ ‫מה‬?

12. ‫דולר‬ ‫של‬ ‫למחיר‬ ‫חזאי‬ ‫בניית‬-‫פתרון‬
•‫קרה‬ ‫מה‬?
•‫טעות‬:data snooping(‫נתונים‬ ‫חטטנות‬)
•‫ל‬ ‫להשתמש‬ ‫כדאי‬ ‫לא‬-TEST‫או‬ ‫זו‬ ‫בצורה‬ ‫שהשתתף‬ ‫בדטה‬
‫למידה‬ ‫בשלבים‬ ‫אחרת‬

13. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
•‫מטרה‬:‫להחליט‬ ‫שתלמד‬ ‫לומדת‬ ‫מערכת‬ ‫לכתוב‬,‫של‬ ‫מהנתונים‬
‫שונים‬ ‫גידולים‬ ‫פרמטרים‬,‫לא‬ ‫או‬ ‫מסוכן‬ ‫הינו‬ ‫חדש‬ ‫גידול‬ ‫האם‬

14. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
•‫מטרה‬:‫להחליט‬ ‫שתלמד‬ ‫לומדת‬ ‫מערכת‬ ‫לכתוב‬,‫של‬ ‫מהנתונים‬
‫שונים‬ ‫גידולים‬ ‫פרמטרים‬,‫לא‬ ‫או‬ ‫מסוכן‬ ‫הינו‬ ‫חדש‬ ‫גידול‬ ‫האם‬
•‫של‬ ‫נתונים‬ ‫של‬ ‫טבלת‬ ‫נתונה‬569‫גידולים‬,‫גידול‬ ‫לכל‬30
‫מאפיינים‬–X‫החלטה‬ ‫ומשתנה‬Y‫לא‬ ‫או‬ ‫מסוכן‬ ‫גידול‬ ‫האם‬

15. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫קוד‬
•‫נתונים‬ ‫עם‬ ‫קובץ‬ ‫פתיחת‬

16. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫קוד‬
•‫נתונים‬ ‫עם‬ ‫קובץ‬ ‫פתיחת‬
•‫נתונים‬ ‫נירמול‬

17. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫קוד‬
•‫קבוצות‬ ‫לשתי‬ ‫נתונים‬ ‫חלוקת‬:test, train
•‫אלגוריתם‬ ‫בעזרת‬ ‫מנתונים‬ ‫למידה‬KNN‫נתונים‬ ‫קבוצת‬ ‫על‬
train
•‫קבוצת‬ ‫על‬ ‫למידה‬ ‫איכות‬ ‫הערכת‬test

18. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫הערות‬
•‫מסובך‬ ‫נראה‬ ‫לא‬ ‫רפואית‬ ‫חשובה‬ ‫בעיה‬ ‫לפתרון‬ ‫הקוד‬

19. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫הערות‬
•‫טוב‬ ‫למד‬ ‫שאלגוריתם‬ ‫לראות‬ ‫אפשר‬

20. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫הערות‬
•‫טוב‬ ‫למד‬ ‫שאלגוריתם‬ ‫לראות‬ ‫אפשר‬
•‫אבל‬:
•‫נתונים‬ ‫נירמול‬,‫קבוצות‬ ‫לשתי‬ ‫חלוקה‬,‫למידה‬,‫איכות‬ ‫בדיקת‬–
‫מוכר‬ ‫נשמע‬ ‫זה‬!!!

21. ‫דוגמא‬2:‫השד‬ ‫סרטן‬
‫הערות‬
•‫טוב‬ ‫למד‬ ‫שאלגוריתם‬ ‫לראות‬ ‫אפשר‬
•‫אבל‬:
•‫נתונים‬ ‫נירמול‬,‫קבוצות‬ ‫לשתי‬ ‫חלוקה‬,‫למידה‬,‫איכות‬ ‫בדיקת‬–
‫מוכר‬ ‫נשמע‬ ‫זה‬!!!
DATA SNOOPING

22. ‫דוגמא‬3:‫ב‬ ‫למחקר‬ ‫דומה‬ ‫טעות‬-Stanford
DATA SNOOPING

23. ‫מסקנה‬
•‫תאוריה‬ ‫את‬ ‫לדעת‬ ‫חשוב‬

24. ‫מסקנה‬
•‫תאוריה‬ ‫את‬ ‫לדעת‬ ‫חשוב‬
•‫בכלים‬ ‫עיוור‬ ‫באופן‬ ‫להשתמש‬ ‫כדאי‬ ‫לא‬,‫לגרום‬ ‫יכול‬ ‫זה‬
‫נזק‬

25. ‫מסקנה‬
•‫תאוריה‬ ‫את‬ ‫לדעת‬ ‫חשוב‬
•‫בכלים‬ ‫עיוור‬ ‫באופן‬ ‫להשתמש‬ ‫כדאי‬ ‫לא‬,‫נזק‬ ‫לגרום‬ ‫יכול‬ ‫זה‬
•‫לומדות‬ ‫מערכות‬ ‫של‬ ‫פרקטיים‬ ‫להיבטים‬ ‫בנוסף‬ ‫בקורס‬,
‫החשובים‬ ‫תאורטיים‬ ‫בהיבטים‬ ‫נגע‬ ‫גם‬ ‫אנו‬

26. ‫ממוחשבת‬ ‫למידה‬ ‫של‬ ‫מטריה‬

27. ‫דוגמא‬:‫בעריסה‬ ‫מוות‬
‫אי‬-‫יכול‬ ‫ידע‬"‫להרוג‬"

28. ‫דוגמא‬:‫בעריסה‬ ‫מוות‬
‫אי‬-‫יכול‬ ‫ידע‬"‫להרוג‬"

29. ‫דוגמא‬:‫בעריסה‬ ‫מוות‬
‫אי‬-‫יכול‬ ‫ידע‬"‫להרוג‬"

30. ‫דוגמא‬:‫בעריסה‬ ‫מוות‬
‫אי‬-‫יכול‬ ‫ידע‬"‫להרוג‬"

31. ‫סיכום‬
‫הקורס‬ ‫של‬ ‫הסילבוס‬ ‫על‬ ‫עברנו‬
‫מדוגמאות‬ ‫בלמידה‬ ‫תאורטי‬ ‫ידע‬ ‫בחשיבות‬ ‫דנו‬
‫לקרות‬ ‫שיכולות‬ ‫לטעיות‬ ‫דוגמאות‬ ‫ראינו‬,‫כאשר‬
‫יודעים‬ ‫לא‬"‫עושים‬ ‫מה‬"