Workshop for MIST ML Enthusiasts

1. রুশদী শামস
সসসিয়র মমসশি লাসিনিং ইসিসিয়ার
OneClass, টররারটা, ক্যািাডা
https://rushdishams.github.io/
https://www.linkedin.com/in/rushdishams/
rushdecoder@gmail.com
Machine Learning with NLP:
An Industrial 101

2. আমার সম্পর্কে
সামান্য কথা
মমশিন্ লাশন্েিং -
সবশকছুর শুরু
কীভার্ব?
মর্েল শিশন্সটা কী?
মর্েল কীভার্ব শির্ে?
মকন্ শির্ে?
কী কী উপার্ে একটা
মর্েলর্ক মিোর্ন্া
যাে?
মমশিন্ লাশন্েিং পাইপলাইন্
• োটা একুইশিিান্
• োটা শিির্সশসিং
• শিচার মিন্ার্রিান্
• শিচার শসর্লকিান্
• মেইশন্িং, ভযাশলর্েিান্ এবিং
মটশটিং
• যাচাই বা ইভযালুর্েিান্
• মেপ্লের্মন্ট
মের্মা

3. ● মমশিন্ লাশন্েিং + ন্যাচারাল লযািংগুর্েি ির্সশসিং
○ মকাোশলটি (ভাল/মন্দ)
○ েু শপ্লর্কট শের্টকিান্
○ কশপরাইট মযার্টশরোল শের্টকিান্
○ অর্টার্মটিক টাইর্টল তৈশর করা
○ পার্সোন্ালাইিে সাচে মরিাল্ট এবিং মরকর্মর্েিান্
○ কার্টামার লোশল্ট বা চান্ে শের্টকিান্
● এেু র্কিন্াল ইর্কাশসর্টম
○ ইউিার মিন্ার্রর্টে কর্ন্টন্ট
○ টিউর্টাশরোল
○ আর্ের এক্স্যার্মর সলুিান্
○ কুইি/এসাইন্র্মন্ট
● মূল উর্েিয
○ মিো
○ মেে
○ সঠিক সমর্ে পাস করা
○ পার্সোন্ালাইিে

4.  Wisdom of crowd
 একটা মবাৈর্লর মভৈর্র অর্ন্কগুর্লা কযাশে ন্াও
 এরপর্র একটা মমলাে যাও
 মান্ুষর্ক অন্ুমান্ করর্ৈ বর্লা ময মবাৈর্ল কৈগুর্লা কযাশে
আর্ছ।
 শলর্ে রার্ো।
 বাসাে শির্র েড় ন্াও।
 শন্র্িই গুর্ন্ মেে ময আসর্ল কৈগুর্লা কযাশে আর্ছ।
 মেো যার্ব ময েড় আর আসল কযাশের সিংেযা েুব কাছাকাশছ!

5.  Wisdom of crowd
 ৈার মার্ন্ অর্ন্কগুর্লা অন্ুমান্ বা আন্দাি কাি কর্র!
 Mathematics
 যশে অন্ুমান্ কাি করর্ৈ পার্র, ৈাহর্ল েশিৈ আরও ভাল কাি করর্ব!
 হর্ৈ পার্র ময আমরা মকার্ন্া একটা ফািংশাি (খুব জটিল এক্টা সমীক্রণ
বা মরডল) বান্ার্ৈ পারর্বা
 আমার্ের কার্ছ পুরার্ন্া অর্ন্ক োটা আর্ছ- মবাৈল কৈ লম্বা, কৈ চওড়া,
কযাশেগুর্লার সাইি আর সার্থ শছল মবাৈলগুর্লার্ৈ কৈগুর্লা কযাশে শছল।
 আমরা এই িািংিান্টার্ক এই োটা শের্ে শের্বা
[মবাৈর্লর োইর্মন্িান্, কযাশের সাইি] —> মমাট কযাশে

6.  Mathematics
 িািংিান্টা এই োটা মথর্ক পযাটািে শিের্ব (মেইশন্িং)
[মবাৈর্লর োইর্মন্িান্, কযাশের সাইি] —> মমাট কযাশে
 মিো মির্ষ আমরা িািংিান্টার্ক ন্ৈু ন্ একটা মবাৈল ভশৈে কযাশের োটা
শের্বা
[মবাৈর্লর োইর্মন্িান্, কযাশের সাইি] —> ?
 িািংিান্টা অন্ুমান্ করর্ব মমাট কযাশের সিংেযা কৈ হর্ৈ পার্র।
মেইশন্িং
105
220
?
মিশেকিান্

7. = ১১১টি কযাশে
অন্ুমান্ কাছাকাশছ। ৈাই এটাই হর্লা “লান্েে িািংিান্”
ভু ল অন্ুমান্।
ৈাই ওর্েইটগুর্লার্ক ঠিক
করর্ৈ হর্ব!
০.৬Xতের্ঘেয + ০.১৫Xিস্থ - 0.৩Xউচ্চৈা + ০.২Xর্ঘন্ত্ব
০.৫Xতের্ঘেয + ০.১Xিস্থ - 0.৪Xউচ্চৈা + ০.২৫Xর্ঘন্ত্ব
= ১২৫ টি কযাশে
মবাৈর্লর তের্ঘেয
মবাৈর্লর িস্থ
মবাৈর্লর উচ্চৈা
কযাশের র্ঘন্ত্ব
১১০ টি কযাশে
শিচার
মভক্টর

8.  ক্লাশসশির্কিান্ ির্েম
 ইর্মইল —> স্প্যাম ন্াশক হযাম
(বাইন্াশর ক্লাস ক্লাশসশির্কিান্)
 শন্উি —> আবহাওো, মেলাধূলা,
রািনন্শৈক, অথেনন্শৈক
(মাশল্টক্লাস ক্লাশসশির্কিান্)
 মমাট কথা — আমার্ক োটার্ক শভন্ন শভন্ন
কযার্টেশরর্ৈ ভাে করর্ৈ হর্ব।
 শরর্েিান্ ির্েম
 বাসার োম মিশেক্ট করা
 ৈাপমাত্রা, ঝর্ড়র েশৈর্বে, ইৈযাশে মিশেক্ট
করা
 মিাোর্ক্টর োম মকান্ কার্টামার্রর কার্ছ কৈ
শেসকাউর্ন্ট শবশি করা যার্ব
 মমাট কথা — আমার্ক একটা সিংেযা মিশেক্ট
করর্ৈ হর্ব

9.  সুপারভাইিে লাশন্েিং
 মলর্বল করা োটা আর্ছ
 [মবাৈর্লর োইর্মন্িান্,
কযাশের সাইি] —> মমাট কযাশে
 মযমন্ এর্ককটা ইর্মইর্লর শিচার আর মসই
ইর্মইল স্প্যাম ন্াশক হযাম
 একধরর্ির এলর্োশরেম শুধু এভার্ব শচশন্র্ে
মেো োটা শন্র্ে কাি কর্র
 আন্-সুপারভাইিে লাশন্েিং
 মলর্বল করা োটা মন্ই
 [মবাৈর্লর োইর্মন্িান্,
কযাশের সাইি] —> []
 মযমন্ এর্ককটা ইর্মইর্লর শিচার মেো থাকর্ব শকন্তু
মসই ইর্মইল কী ধরর্ির ৈা বলা থাকর্ব ন্া
 এক ধরর্ির এলর্োশরেম এই শিচারগুর্লার ওপর্র
শভশি কর্র ক্লাটার তৈশর কর্র
● আমরা শুধুমাত্র সুপারভাইিে ক্লাশসশির্কিান্ সম্পর্কে িান্র্বা

10.  োটার অবস্থান্
 োটার্বি
 ক্লাউে
 িাইল
(শস এস শভ িাইল,
মিসন্ িাইল,
অর্েক্ট িাইল, ইৈযাশে)
● োটার ভশলউম
○ োটার্ক কযাি করর্বা ন্াশক োটার্ক
মসার্সেই রােব?
○ োটা একবার্র ন্াশক পযারালার্ল
পড়ব?
● োটা শক সঠিক?
○ সবার সার্থ কথা বলর্ৈ হর্ব
○ শরোন্র্েন্ট কলাম সম্পর্কে সাবধান্ৈা
○ শসিন্াল োটার বযাপার্র সাবধান্ৈা
○ োটা সম্পর্কে শন্র্িই িচু র পশরমার্ি িশ্ন
করা এবিং উির িান্া

11.  মযভার্ব চাই মসভার্ব োটা থার্ক ন্া
 HTML টযাে
 ওর্েব সাইট মথর্ক মেপ করার সমে িব্দগুর্লা সব একসার্থ
মলর্ে আর্ছ
 হেৈ এক সমে “মরশভশন্উ” কলার্ম েলার কার্রশির্ৈ শছল,
এেন্ পাউর্ে
 হেৈ কার্টামার কৈক্ষি ওর্েবসাইর্ট শছল মসটা এক সমে
শমশলর্সর্কর্ে শছল, এেন্ মসর্কর্ে
● এলর্োশরের্মর মর্ৈা কর্র োটা তৈশর করর্ৈ হে
○ পািংচু র্েিান্
○ টপওোেে
○ মটশমিং/মলমাটাইর্িিান্
○ আউটলাইোর

12.  ির্েম অন্ুযাশে শিচার
 মবশিরভাে শেপ লাশন্েিং এ শিচার মবর
করার ির্োিন্ মন্ই
● মযমন্ ছাত্ররা ক্লার্সর মলকচার পাওোরপর্েন্ট/শপশেএি আপর্লাে কর্র।
● আমরা এটার্ক শের্টক্ট কশর। একটা উপাে হর্লা িাইলটার মল-আউট মবর
করা (মপার্েে ইট বন্াম লযাের্েপ)।
● ৈাহর্ল, িাইলটার মল-আউট হর্লা আপর্লাে করা েকুর্মর্ন্টর শিচার
● এরকম আর্রা শিচার হর্ৈ পার্রেঃ
○ বুর্লট পর্ের্ন্টর সিংেযা
○ ির্ন্টর সিংেযা, মমাট সাইি, রঙ
○ শপশেএিটা মকান্ রাইটার শের্ে তৈশর করা হর্ের্ছ
○ পৃষ্ঠা সিংেযা
○ শুরুর্ৈ শিক্ষর্কর এশিশলর্েিান্ আর্ছ কী ন্া, ইৈযাশে

13. ছাত্রর্ের আপর্লাে করা েকুর্মন্ট
[বুর্লট পর্ের্ন্টর সিংেযা, ির্ন্টর সিংেযা, মমাট সাইি, রঙ, শপশেএিটা মকান্ রাইটার
শের্ে তৈশর করা হর্ের্ছ, পৃষ্ঠা সিংেযা, শুরুর্ৈ শিক্ষর্কর এশিশলর্েিান্ আর্ছ কী,
ইৈযাশে]
[১২, ১০, ৬, ৩, মাইর্িাসিট ওোেে , ৩২, হযাাঁ , ...]
সব শিচার শক ির্োিন্?শিচার শসর্লকিান্

14. [১২, ১০, ৬, ৩, মাইর্িাসিট ওোেে , ৩২, হযাাঁ , ...] —> োরাপ মন্াট
[২০০, ৫, ১৬, ৯, এর্িাবযাট, ৩, ন্া, ...] —> ভাল মন্াট
[১, ৩, ১৬, ৯, মমাবাইল, ৩, ন্া, ...] —> ভাল মন্াট
[২১, ৯, ১৩৪, ১, এর্িাবযাট, ৬, হযাাঁ , ...] —> োরাপ মন্াট
………
[x, x, x, x, x, x, ...] —> োরাপ মন্াট
২/৩ ভাে মেইশন্িং
১/৩ ভাে মটশটিং

15. ২/৩ ভাে মেইশন্িং
ভযাশলর্েিান্ মসট # ১ ভযাশলর্েিান্ মসট # ২ ভযাশলর্েিান্ মসট # ৩ ভযাশলর্েিান্ মসট # ৪ ভযাশলর্েিান্ মসট # ৫n=৫
িশৈবার n-1 ভাে শন্র্ে মেইশন্িং করার্বা, বাশক
একভার্ের মলর্বল মিশেক্ট করর্বা
এভার্ব n সিংেযকবার মেইশন্িং-ভযাশলর্েিান্ কর্র
েড় পারিরমযাি শন্র্বা
[x, x, x, x, x, x, ...] —> োরাপ মন্াট
……….
মেইসিিং মসট ভ্যাসলরডশাি মসট পারফমনযান্স (ভ্ু ল)
১, ২, ৩, ৪ ৫ X%
১, ২, ৩, ৫ ৪ X%
১, ২, ৪, ৫ ৩ X%
১, ৩, ৪, ৫ ২ X%
২, ৩, ৪, ৫ ১ X%
িস ভযাশলর্েিান্

16. ২/৩ ভাে মেইশন্িং
ভযাশলর্েিান্ মসট # ১ ভযাশলর্েিান্ মসট # ২ ভযাশলর্েিান্ মসট # ৩ ভযাশলর্েিান্ মসট # ৪ ভযাশলর্েিান্ মসট # ৫n=৫
এলর াসরদম ৫ বাররর ড় ভ্ু ল
র্যােম ির্রট ৭%
সার্পাটে মভক্টর মমশিন্ ১.২%
লশিশটক শরর্েিান্ ১২%

17. ২/৩ ভাে মেইশন্িং
ভযাশলর্েিান্ মসট # ১ ভযাশলর্েিান্ মসট # ২ ভযাশলর্েিান্ মসট # ৩ ভযাশলর্েিান্ মসট # ৪ ভযাশলর্েিান্ মসট # ৫n=৫
এেন্ আমরা িাশন্ ময সার্পাটে মভক্টর মমশিন্
ভাল করর্ব। শকন্তু সার্পাটে মভক্টর মমশির্ন্র
অর্ন্ক পযারাশমটার আর্ছ। মযমন্, (১) শস
ভযালু, (২) োমা ভযালু, ইৈযাশে
িশ্ন হর্লা- মকান্ পযারাশমটার কশম্বর্ন্িার্ন্র
িন্য আমার এলর্োশরেম কম ভু ল করর্ব,
আশম িাশন্ ন্া।
ৈাই সব কটা কশম্বর্ন্িান্ এর্ক এর্ক
বযবহার কর্র মেের্ৈ হর্ব। ময
কশম্বর্ন্িার্ন্র িন্য আমার এলর্োশরেম
সবর্চর্ে কম ভু ল করর্ব, মসটাই আমার
“িাইন্াল মর্েল” এর পযারাশমটার
কশম্বর্ন্িান্

18. মসরা পারিশমেিং পযারাশমটার কশম্বর্ন্িান্
শের্ে আমরা এরপর্র একটা “মসশম-
িাইন্াল মর্েল” মিন্ার্রট করর্বা
২/৩ ভাে মযই মেইশন্িং োটা
মরর্েশছলাম, মসটা বযবহার কর্র
সার্পাটে মভক্টর মমশিন্
(মসরা পযারাশমটার)
০.৮% ভু ল কর্র
২/৩ ভাে মেইশন্িং ১/৩ ভাে ভযাশলর্েিান্/মটশটিং
শপ এল এর পড়ার্িান্া
পরীক্ষা
আর এই মর্েলটা বযবহার করর্বা
১/৩ ভাে ময ভযাশলর্েিান্/মটট
োটা মরর্ে শের্েশছলাম, মসটার
ওপর্র
আমরা মযর্হৈু এই ১/৩ ভাে োটার মক ভাল
মন্াট, মক োরাপ মন্াট িাশন্, ৈাই মর্েল এই
োটার ওপর্র কৈ ভু ল করর্লা মসটাও িান্র্ৈ
পারর্বা।
এই ভ্ুু্ রলর হার ০.৮% এর ক্াছাক্াসছ
হরব।

19. ২/৩ ভাে মেইশন্িং
সার্পাটে মভক্টর মমশিন্
(মসরা পযারাশমটার)
১/৩ ভাে ভযাশলর্েিান্/মটশটিং
মেইসিিং মটসটিং মন্তবয পসরভ্াষা
ভু ল কম ভু ল মবশি শপ এল এ মর্ন্ কর্র শিপার্রিান্
ভাল, শকন্তু পরীক্ষাে োরাপ কর্র
ওভারশিটিিং
ভু ল মবশি x হৈািার আর্রক ন্াম আোরশিটিিং
ভু ল কম ভু ল কম আর্লাশকৈ ছাত্র গুে শিট
শপ এল এর পড়ার্িান্া পরীক্ষা

20.  মেইশন্িং োটার্ক শন্র্েই আমার্ের সব
পরীক্ষা-শন্রীক্ষা চালার্ৈ হর্ব। আমরা হযাশপ
হর্লই ৈেন্ মকবল মটশটিং োটার ওপর্র
আমরা মর্েল রান্ করব
২/৩ ভাে মেইশন্িং ১/৩ ভাে মটশটিং মমাট মলর্বল িান্া োটা
সার্পাটে মভক্টর মমশিন্
(মসরা পযারাশমটার)
• মটশটিং মরিার্ল্টর ওপর্র হযাশপ হর্ল
ৈেন্ সমস্ত মলর্বল োটা শন্র্ে
আমার্েরর্ক “ফাইিাল মরডল”
তৈশর করর্ৈ হর্ব

21. সার্পাটে মভক্টর মমশিন্
(মসরা পযারাশমটার)
ওর্েব সাভে ার
ছাত্রর্ের আপর্লাে
করা ন্ৈু ন্ েকুর্মন্ট
ফ্রন্ট এে
[১২, ১০, ৬, ৩, মাইর্িাসিট ওোেে , ৩২, হযাাঁ , ...]
শিচার তৈশর কর্র মমশিন্ লাশন্েিং ময ওর্েব সাভে ার্র
আর্ছ মসোর্ন্ পাঠার্ন্া হর্ে
(মাইর্িাসাশভে স)
ভাল মন্াট ন্াশক োরাপ
মন্াট?

22.  মিৈার্ের শলশেৈ অশভর্যার্ের োটার্সট
 অশভর্যাে মটক্স্ট আকার্র আর্ছ
 কী ধরর্ন্র অশভর্যাে মসটা কযার্টেরাইি করা
আর্ছ
 ক্লাশসশির্কিান্ ির্েম
 https://catalog.data.gov/dataset
/consumer-complaint-database
 বযবহৃৈ মটকর্ন্ালশি
 Python
 Jupyter Notebook
 Pandas
 NLTK
 Scikit Learn

35. Wisdom
of Crowd
মর্েল
শিচার মভক্টর
লাশন্েিং
এরর
সুপারভাইিে/
আন্সুপারভাইিে
লাশন্েিং
ক্লাশসশির্কিান্/
শরর্েিান্ ির্েম
ওভারশিটিিং/
আোরশিটিিং/
গুে শিট
মমশিন্ লাশন্েিং পাইপলাইন্