Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Data mining and_big_data_web

35,618 views

Published on

This slide presents an introduction of data mining and big data analytics.

Published in: Data & Analytics
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Data mining and_big_data_web

  1. 1. Introduction to Data Mining & Big Data Analytics Eakasit Pacharawongsakda, Ph.D. 9 November 2015
 at King Mongkut's University of Technology Thonburi (KMUTT) Data Cube: http://facebook.com/datacube.th (data)3
 base|warehouse|mining http://www.dataminingtrend.com
 http://facebook.com/datacube.th
  2. 2. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th About me • ชื่อ: เอกสิทธิ์ พัชรวงศ์ศักดา • การศึกษา: • ปริญญาเอก วิทยาการคอมพิวเตอร์ สถาบันเทคโนโลยีนานาชาติสิรินธร (SIIT) มหาวิทยาลัยธรรมศาสตร์ • ปริญญาโท วิศวกรรมคอมพิวเตอร์ มหาวิทยาลัยเกษตรศาสตร์ • ปริญญาตรี วิศวกรรมคอมพิวเตอร์ มหาวิทยาลัยเกษตรศาสตร์ 
 (เกียรตินิยมอันดับ 2) • ประสบการณ์ • Certified RapidMiner Analyst • Data scientist at GloriSys Cloud Solutions Co., Ltd. • วิทยากรอบรมการใช้งานซอฟต์แวร์ open source ทางด้าน data mining 2
  3. 3. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th About me • หนังสือ Data Mining ฉบับภาษาไทย 3
  4. 4. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th About me 4 RapidMiner Analyst Certification This is to Certify that Successfully passed the examination for the Certified RapidMiner Analyst. The RapidMiner Analyst certification level is designed for individuals who wish to demonstrate a fundamental understanding of how RapidMiner software works and is used. Certified Analyst professionals will be able to prepare data and create predictive models in standard data environments typically found within most analyst positions. The candidate has proven the ability to:  Prepare data  Build predictive models  Evaluate the model’s quality  Score new data sets  Deploy data mining models With:  RapidMiner Studio  RapidMiner Server Eakasit Pacharawongsakda
  5. 5. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th in-house training
  6. 6. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Outline • ส่วนที่ 1: แนะนำ Big Data • ส่วนที่ 2: แนะนำตัวอย่างการสร้างข้อมูลจากสิ่งของต่างๆ (Internet of Things) • ส่วนที่ 3: แนะนำ Data Mining • ส่วนที่ 4: การนำ Data Mining และ Big Data ไปใช้ประโยชน์กับงานในด้านต่างๆ 6
  7. 7. Introduction to Big Data ส่วนที่ 1 (data)3
 base|warehouse|mining http://www.dataminingtrend.com
 http://facebook.com/datacube.th
  8. 8. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Business without analytics 8
  9. 9. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Business without analytics 9 image source: http://www.oknation.net/blog/print.php?id=434843
  10. 10. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Business with analytics 10 source: https://www.youtube.com/watch?v=7tAgbni9kpY
  11. 11. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Where is data come from? 11 source: https://www.youtube.com/watch?v=Y_JlkzzhAgw
  12. 12. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Where is data come from? 12 source:www.julianmarquina.es
  13. 13. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Where is data come from? • ข้อมูลแบ่งตามที่มา • ภายในบริษัท/องค์กร • ข้อมูลการซื้อขาย • ข้อมูลประวัติลูกค้า • ข้อมูลประวัติพนักงาน • ภายนอกบริษัท/องค์กร • ข้อมูลจาก social media ต่างๆ • ข้อมูลข่าวต่างๆ • ข้อมูลรูปภาพและเสียง 13 source: http://dailyprivacy.files.wordpress.com/2013/02/2012_big_data_study_infographic_600.jpg
  14. 14. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Structured & Unstructured data • ข้อมูลแบ่งเป็นแบบมีโครงสร้าง (structure) และไม่มีโครงสร้าง (unstructure) • ข้อมูลแบบมีโครงสร้าง เช่น ข้อมูลที่เก็บในรูปแบบตาราง • ข้อมูลแบบไม่มีโครงสร้าง เช่น ข้อมูลที่เป็นข้อความ ข้อมูลที่เป็นรูปภาพ 14 ID outlook humidity windy play 1 sunny high FALSE no 2 sunny high TRUE no 3 overcast normal FALSE yes binominalnumeric nominal
  15. 15. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Structured & Unstructured data • ข้อมูลที่ไม่มีโครงสร้างที่เก็บอยู่ในรูปแบบข้อความ รูปภาพ เสียงมี จำนวนมากถึง 80% ของข้อมูลทั้งหมด 15 source: http://www.couchbase.com/why-nosql/nosql-database
  16. 16. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th What is Big Data? 16 source: https://www.youtube.com/watch?v=TzxmjbL-i4Y
  17. 17. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th What is Big Data? • Big Data ประกอบด้วย 3 V • Volume • ข้อมูลมีจำนวนเพิ่มขึ้นอย่าง มหาศาล • Velocity • ข้อมูลเพิ่มขึ้นอย่างรวดเร็ว • Variety • ข้อมูลมีความหลากหลายมาก ขึ้น 17 source:http://www.smartdatacollective.com/yellow;n/75616/why-big-data-and-business-intelligence-one-direction
  18. 18. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Big Data: Volume, Velocity & Variety 18 source: http://socialrati.com/2013/03/24/social-mobile-driving-big-data/
  19. 19. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Big Data: Volume, Velocity & Variety 19 source:https://datafloq.com/read/infographic/226
  20. 20. Introduction to Internet of Things ส่วนที่ 2 (data)3
 base|warehouse|mining http://www.dataminingtrend.com
 http://facebook.com/datacube.th
  21. 21. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Internet of Things • Google glasses 21 source:https://www.youtube.com/watch?v=4EvNxWhskf8
  22. 22. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Internet of Things • Progressive Snapshot 22 source:http://www.progressive.com/auto/snapshot/
  23. 23. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Internet of Things • Heineken Ignite 23 source: https://www.youtube.com/watch?v=Bv0SiX_yzws
  24. 24. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Internet of Things 24 source:https://www.youtube.com/watch?v=lsiHUfIpNGY
  25. 25. Introduction to Data Mining ส่วนที่ 3 (data)3
 base|warehouse|mining http://www.dataminingtrend.com
 http://facebook.com/datacube.th
  26. 26. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Database & warehouse & mining 26 Database Sales Accounting CRM Extract
 Transform
 Load
 (ETL) Data Mining Data Warehouse Knowledge/Patterns image source:https://sites.google.com/a/whps.org/diamond-teamkp/
 http://www.iconarchive.com/tag/data
  27. 27. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Database & warehouse & mining • Database • ฐานข้อมูลใช้ในการจัดเก็บข้อมูล ลดความซ้ำซ้อนของข้อมูล เน้นการจัดเก็บ เพ่ิม แก้ไข และลบข้อมูล • Data warehouse • คลังข้อมูลรวบรวมช้อมูลจากหลายๆ ฐานข้อมูล แปลงข้อมูลให้มีความเหมือนกัน เหมาะสำหรับการเรียกดู (view) เพื่อสร้างรายงานสรุป • Data Mining • การวิเคราะห์ข้อมูลเพื่อค้นหาความสัมพันธ์หรือรูปแบบที่มีประโยชน์ในฐานข้อมูล 27
  28. 28. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th What is data mining? • “The exploration and analysis of large quantities 
 of data in order to discover meaningful patterns and rules” – Data Mining Techniques (3rd Edition) • เป็นการวิเคราะห์ข้อมูล เพื่อหารูปแบบ (patterns) หรือความสัมพันธ์ (relation) ระหว่างข้อมูลในฐานข้อมูลขนาดใหญ่ • “Extraction of interesting (non-trivial, previously, unknown and potential useful) information from data in large databases” – Data Mining Concepts & Techniques (3rd Edition) • เป็นกระบวนการดึงข่าวสารที่น่าสนใจ และมีประโยชน์แต่ไม่เคยรู้มา ก่อนจากฐานข้อมูลขนาดใหญ่ 28 image sources: https://binarylinks.wordpress.com/tag/data-mining/
 http://www.amazon.com/Data-Mining-Techniques-Relationship-Management/dp/0470650931
  29. 29. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th What is data mining? 29 ข้อมูล' เทคนิคการทำ data mining' รูปแบบที่มีประโยชน์' image source:http://www.computerrepairanaheim.net
 https://sites.google.com/a/whps.org/diamond-teamkp/
 http://meetings2.informs.org/wordpress/analytics2014/2014/04/01/why-oranalytics-people-need-to-know-about-database-technology/
  30. 30. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th • เป็นขั้นตอนการวิเคราะห์ข้อมูลด้วยเทคนิคดาต้าไมน์นิ่ง • การจำแนกประเภทข้อมูล (classification) • สร้างโมเดลจากข้อมูลที่มีอยู่เพื่อทำนายอนาคต • เช่น ทำนายปริมาณน้ำฝนที่ตกในวันถัดไป • การจัดกลุ่มข้อมูล (clustering) • แบ่งข้อมูลหลายๆ กลุ่มตามความคล้ายคลึง • เช่น แบ่งกลุ่มนักศึกษาตามคะแนนที่ได้ • การหาความสัมพันธ์ (association analysis) • หาความสัมพันธ์ของข้อมูลที่เกิดร่วมกัน • เช่น ค้นหาสินค้าที่มีการซื้อร่วมกันบ่อยๆ Data Mining Techniques 30 classification clustering association rules
  31. 31. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 31 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  32. 32. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 32 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  33. 33. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 33 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  34. 34. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 34 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  35. 35. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 35 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  36. 36. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 36 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  37. 37. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 37 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  38. 38. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การหาความสัมพันธ์ที่เกิดขึ้นในข้อมูล (Association Analysis) 38 ตะกร้าใบที่ 1 ตะกร้าใบที่ 2 ตะกร้าใบที่ 3
  39. 39. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การจัดกลุ่มข้อมูลตามความคล้ายคลึง (Clustering) 39 image source: http://kachabazaar.com/
  40. 40. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • แบ่งกลุ่มตามสีของผัก 40 ผักสีเขียว ผักที่ไม่ใช่สีเขียว image source: http://kachabazaar.com/
  41. 41. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • แบ่งตามรูปร่างของผัก 41 รูปทรงกลม รูปทรงแท่ง image source: http://kachabazaar.com/
  42. 42. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การใช้งานโทรศัพท์มือถือของลูกค้า 42 1 2 3 5 6 4 image source: http://www.iconarchive.com/show/vista-people-icons-by-icons-land.html
  43. 43. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • หลังจากทำการแบ่งกลุ่มลูกค้าตามพฤติกรรมการใช้งาน 43 1 6 4 5 2 3 ลูกค้าที่ใช้โทรเยอะ ลูกค้าที่ส่ง SMS เยอะ ลูกค้าที่ใช้งานไม่เยอะ image source: http://www.iconarchive.com/show/vista-people-icons-by-icons-land.html
  44. 44. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Data Mining Techniques • การคาดการณ์สิ่งที่จะเกิดขึ้นในอนาคต (Classification) 44
  45. 45. การนำ Data Mining และ Big Data ไปใช้ประโยชน์กับงาน
 ในด้านต่างๆ ส่วนที่ 4 (data)3
 base|warehouse|mining http://www.dataminingtrend.com
 http://facebook.com/datacube.th
  46. 46. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications 46 source: http://www.youtube.com/watch?v=f2Kji24833Y
  47. 47. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • บัตรสมาชิก (loyalty card) • ติดตามพฤติกรรมการซื้อสินค้า ของลูกค้าจากบัตร loyalty • นำมาวิเคราะห์และนำเสนอเป็น โปรโมชันพิเศษให้แต่ละบุคคล • เพิ่มโอกาสในการขายสินค้าให้กับ ลูกค้า • กระตุ้นให้ลูกค้าได้ซื้อสินค้ามาก ขึ้น เช่น ซื้อสินค้าวันนี้ จะได้ ส่วนลดพิเศษ ทำให้ลูกค้าเกิดการ ตัดสินใจซื้อทันที 47 image source: http://www.positioningmag.com
  48. 48. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • ทราบพฤติกรรมการซื้อสินค้าของลูกค้า เพื่อนำมาวิเคราะห์ และนำ เสนอเป็นโปรโมชันพิเศษให้แต่ละบุคคล 48 image source: http://www.dream-base.com/tesco/clubcard.php?p=spend&lang=en
  49. 49. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications 49 image source:http://blog.beau-coup.com/guy-friendly-baby-showers-beer-and-diapers-theme https://www.linkedin.com/pulse/20140403185417-4785379-diapers-and-beer
  50. 50. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications 50 source: http://www.youtube.com/watch?v=f2Kji24833Y
  51. 51. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • Google Self-Driving Car 51 source: https://www.youtube.com/watch?v=8fjNSUWX7nQ
  52. 52. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • แนวโน้มราคาตั๋วเครื่องบิน 52
  53. 53. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • แนะนำภาควิชาให้กับนิสิต 53 * กฤษณะ ไวยมัย , ชิดชนก ส่งศิริ และ ธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะ
 วิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001 Computer = HIGH = LOW Physics Good Good = LOW = HIGH Mathematics Good Bad = HIGH = LOW ตัวอย่างสมมุติของการแนะนำนิสิตพื่อศึกษาวิศวกรรมคอมพิวเตอร์
  54. 54. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • แนะนำสินค้าที่เกี่ยวข้อง • amazon.com แนะนำหนังสือที่เกี่ยวข้องกับ RapidMiner • Netflix แนะนำภาพยนต์ที่คล้ายกับที่เคยดู เช่น Life of Pi 54 source: http://www.amazon.com และ http://www.netflix.comsource: http://www.amazon.com และ http://www.netflix.com
  55. 55. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • ทำนายอายุและเพศจากรูปภาพ 55 source: http://www.how-old.net
  56. 56. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • วิเคราะห์ทัศนคติในแง่ต่างๆ จากสังคมออนไลน์ 56
  57. 57. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Applications • วิเคราะห์ทัศนคติในแง่ต่างๆ จากสังคมออนไลน์ (ภาษาไทย) 57
  58. 58. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th For more information 58
  59. 59. (data)3
 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th For more information • หสม. ดาต้า คิวบ์ (data cube) • website: http://www.dataminingtrend.com • facebook: http:facebook.com/datacube.th หรือ http://facebook.com/sit.ake • email: sit.ake@gmail.com • lineID: eakasitp 59

×