Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Big Data as a Service

2,559 views

Published on

Slide "Big Data as a Service" งานประชาพิจารณ์ของ สรอ. 1 กพ. 59

Published in: Technology

Big Data as a Service

  1. 1. งานระดมความเห็นการบริการ Big Data ของภาครัฐ 1 กุมภาพันธ์2559
  2. 2. Government Big Data as a Service รศ.ดร.ธนชาติ นุ่มนนท์ ผู้อำนวยการสถาบันไอเอ็มซี 1 กุมภาพันธ์2559
  3. 3. 3 โครงการจัดทำกรอบแนวคิดการพัฒนาข้อมูลขนาด ใหญ่ Big Data ของภาครัฐ
  4. 4. 4 วัตถุประสงค์ เพื่อจัดทำวิจัยและศึกษากรอบแนวคิดสำหรับ – การพัฒนาข้อมูลขนาดใหญ่ ความหมาย และแนวทางการวาง โครงสร้างเทคโนโลยีขั้นพื้นฐาน – เพื่อนำไปใช้ในการจัดทำ Big Data ให้มีประสิทธิภาพสูงสุด – เพื่อเป็นบริการให้หน่วยงานภาครัฐที่สนใจสามารถนำมาใช้งาน ในอนาคต
  5. 5. 5 Big Data: Introduction
  6. 6. 6 Internet of ThingsCloud Computing Big Data/Analytic
  7. 7. 7 ข้อมูลใหญ่แค่ไหน?
  8. 8. 8 Technology Analytics Data Sources
  9. 9. 9 สิ่งที่เปลี่ยนแปลง ข้อมูลมีจำนวนมากขึ้น เทคโนโลยีสามารถเก็บข้อมูลขนาดใหญ่ได้ มีเทคโนโลยีในการวิเคราะห์ผลจากข้อมูลขนาดใหญ่ Data Science: Machine Learning ทำให้ช่วย สามารถคาดการณ์เรื่องต่างๆจากข้อมูลขนาดใหญ่ได้
  10. 10. 10 Technology Analytics Data Sources
  11. 11. 11 Data Sources
  12. 12. 12 Big Data Technology !!
  13. 13. 13 เทคโนโลยีที่จำเป็น Big Data เทคโนโลยีในการเก็บข้อมูล – Hot Data (RDBMS), Warm-Cold Data (Hadoop) เทคโนโลยีในการวิเคาระห์ข้อมูล – SQL, Spark, Hive, MapReduce เทคโนโลยีในการแสดงผล (Data Visualisation)
  14. 14. 14 Big Data Future Architecture Sscial Media Images e-mails Crawlers ERP CRM LOB APPs Unstructured and Structured Data Parallel Data Warehouse Hadoop On Cloud Hadoop On Private Server Connectors S S R S BI Platform Familiar End User Tools Spreadsheet Predictive Analytics Data Market Place NoSQL Petabytes of Data (Unstructured) Hundreds of TB of Data (structured)
  15. 15. 15 ความเข้าใจผิดบางประการเกี่ยวกับ Big Data Big Data คือการลงทุน Database ขนาดใหญ่ Big Data คือเทคโนโลยี Hadoop เราจะต้องทำโครงการ Data Warehouse แล้วค่อยทำโครงการ Big Data การทำ Big Data ต้องการ Data Scientist
  16. 16. 16 Data Warehouse Source: Danairat T.
  17. 17. 17 Data Lake โดยใช้ Hadoop Source: Danairat T.
  18. 18. 18 หลักการของ Data Lake Source: www.clearpeak.com, cr: Komes Chandavimol
  19. 19. 19 ความท้าทายด้านเทคโนโลยี ความซับซ้อนของเทคโนโลยีที่หลากหลาย งบประมาณการลงทุนมหาศาล บุคลากรที่มีความเชี่ยวชาญ – Big Data Engineer – Big Data Developer – Big Data Analyst – Data Scientist
  20. 20. 20 Hadoop Stack
  21. 21. 21 Hadoop Sizing
  22. 22. 22 Hadoop Cluster Size: Survey Source: AtScale, 2015
  23. 23. 23 ตัวอย่างของรัฐบาลสหรัฐอเมริกา ซื้อบริการจากผู้ประกอบการเอกชน มาตรฐานกลางเช่น ITAR, FedRAMPSM ใช้หลักการ“certify once, use many times” เพื่อ การรับรองความปลอดภัยของระบบ Cloud ตัวอย่างเช่น Amazon Web Services: GovCloud
  24. 24. 24 ประเภทของบริการ
  25. 25. 25 ตัวอย่าง Big Data Platform ของ PInterest
  26. 26. 26 ตัวอย่างบริการ BDaaS ของ AWS Amazon S3: Object Storage (Cold Data) Amazon RDS : Relational Database Amazon Redshift: Datawarehouse Amazon EMR: Hadoop as a Service Amazon Kenesis: Data Ingestion/Storage
  27. 27. 27 Big Data: Survey
  28. 28. 28 วัตถุประสงค์ เพื่อทราบข้อมูลที่จำเป็นต่อการพัฒนาระบบดังนี้ –รูปแบบข้อมูล –ขนาดของข้อมูลเพื่อวางโครงสร้าง Server –รูปแบบการดึงข้อมูล
  29. 29. 29 สิ่งที่สำรวจ สำรวจระดับความพร้อมของรัฐในการให้บริการ Big Data ในด้านต่างๆ (บุคลากร,ระบบ,เทคโนโลยี) สำรวจบุคลากร รู้จัก Big Data ในระดับใด,เห็นประโยชน์ของ Big Data ระดับใด และความจำเป็นระดับไหนขององค์กร สำรวจกระบวนการ Big Data ในปัจจุบัน ได้มีการเริ่มใช้ในองค์กรหรือยัง อย่างไร และ จะใช้เพื่อประโยชน์อะไร สำรวจ ลักษณะของข้อมูลที่พร้อมทำ Big Data สำรวจรูปแบบของการดึงข้อมูล สำรวจ โอกาส อุปสรรค และ ข้อจำกัดในการทำ Big Data ในองค์กร
  30. 30. 30 แบบสอบถาม หมวดข้อมูลพื้นฐานของหน่วยงาน หมวดด้านโครงสร้างพื้นฐานด้านข้อมูลไอที หมวดด้านการบริหารจัดการข้อมูล หมวดด้านการวิเคราะห์ข้อมูล
  31. 31. 31 กลุ่มตัวอย่าง
  32. 32. 32 กลุ่มตัวอย่าง
  33. 33. 33 สรุปผลสำรวจ
  34. 34. 34 สรุปผลสำรวจ
  35. 35. 35
  36. 36. 36
  37. 37. 37
  38. 38. 38
  39. 39. 39 Government : Big Data as a Service
  40. 40. 40 Big Data Project: หน่วยงานลงทุนเอง ข้อดี สามารถเลือกติดตั้งระบบ Big Data Platform ใดๆก็ได้ ข้อมูลอยู่ในองค์กร สามารถควบคุมระบบเองได้ ข้อเสีย ค่าใช้จ่ายสูง และอาจเกิดการ ลงทุนซ้ำซ้อน การตัดสินใจการซื้อเทคโนโลยี บางอย่างอาจไม่คุ้มค่า อาจทำให้ไม่ได้ใช้งานอย่าง ประสิทธิภาพเต็มที่ ต้องมีบุคลากรมาดูแลระบบเอง
  41. 41. 41 Big Data Project: ใช้ Public Cloud ข้อดี มีราคาถูก มีผู้ดูแลระบบให้ สามารถเลือกใช้บริการต่างๆ ได้หลากหลาย สามารถที่ใช้เทคโนโลยีล่าสุด ได้ ข้อเสีย มีความเสี่ยงเรื่องข้อมูลไปอยู่ที่ต่าง ประเทศหรือหน่วยงานเอกชน ไม่สามารถ customize เทคโนโลยี ตามความต้องการได้ อาจมีปัญหาเรื่องการตั้งงบประมาณ จ่ายค่าบริการรายเดือน ผู้ให้บริการBDaaS ส่วนใหญ่อยู่ ต่างประเทศ
  42. 42. 42 Big Data Project: ใช้ Community Cloud ข้อดี ไม่ต้องลงทุนเองในหน่วยงาน ค่าบริการเป็นข้อตกลงระหว่างหน่วย งาน และอาจมีราคาถูกสุด มีข้อดีต่างๆเช่นเดียวกับ BDaaS ของ Public Cloud แต่หน่วยงาน ของรัฐดูแลให้ ไม่มีความเสี่ยงเรื่องข้อมูลไปอยู่กับ หน่วยงานนอกภาคราชการ ข้อเสีย ไม่สามารถ customize เทคโนโลยีตามความต้องการได้
  43. 43. 43 บริการ BDaaS ของภาครัฐ Storage as a Service Database as a Service Hadoop as a Service BI as a Service
  44. 44. 44 เทคโนโลยีที่ควรมี
  45. 45. 45 การให้บริการ เน้น Warm/Cold Data เน้นเรื่องของเทคโนโลยีใหม่ๆในการประมวลผล หาเครื่องมือช่วยการทำ Visualisation/Data Science ถ้าเป็น RDBMS ควรทำบริการแบบ RDS คือจัดหา Virtual Server ที่ติดตั้ง Database ในแต่ละหน่วยงาน
  46. 46. 46 ความเหมาะสมของเทคโนโลยี
  47. 47. 47 ระบบประมวลผล
  48. 48. 48 องค์ประกอบของ BDaaS
  49. 49. 49 องค์ประกอบของ BDaaS
  50. 50. 50 Object Based Storage เก็บข้อมูลประเภท Cold Data เสมือนการให้บริการ Cloud Sotrage อย่าง Amazon S3 ภาครัฐ ควรเป็นเทคโนโลยีที่ใช้ Community Servers ราคาต่อหน่วยจะถูกกว่า Hadoop ควรมีขนาดอย่างน้อย 1 PetaByte
  51. 51. 51 Hadoop เก็บข้อมูลประเภท Cold-Warm Data และ Unstructure Data เสมือนการให้บริการHadoop as a Service ภาครัฐ ควรมีขนาดของ HDFS Storage อย่างน้อย 1 PetaByte ควรสร่้างระบบประมวลผลแบบ Hive, Impala, Spark, MapReduce ให้ผู้ใช้ ควรให้สามารถเชื่อมต่อกับ Data Visualization Tool ได้
  52. 52. 52 Hadoop Platform
  53. 53. 53 ข้อมูลที่อนุญาตให้มาเก็บ ข้อมูลของหน่วยราชการที่กล่าวไว้ข้างต้นสำหรับการใช้งาน ทั่วไป ข้อมูลที่ต้องเก็บรักษาไว้ระยะยาว ข้อมูลที่ต้องการเปิดเผยในลักษณะ Open Data
  54. 54. 54 กลุ่มเป้าหมายของผู้ใช้บริการ หน่วยราชการทั่วไป หน่วยงานรัฐวิสาหกิจ องค์กรอิสระและองค์กรในกำกับ มูลนิธิ สมาคม หรือหน่วยงานต่างๆที่ไม่แสวงหาผลกำไร
  55. 55. 55 ค่าบริการ
  56. 56. 56 ข้อสรุปจากFocus Group
  57. 57. 57 ผู้เข้าร่วม112 คน
  58. 58. 58 ขนาดข้อมูล
  59. 59. 59 เทคโนโลยีที่ใช้ในปัจจุบัน
  60. 60. 60 หน่วยงานที่ต้องปรับ Information Infrastructure
  61. 61. 61 การลงทุน Big Data
  62. 62. 62 บริการ BDaaS ที่ต้องการ
  63. 63. 63 ปัญหาและอุปสรรค
  64. 64. 64
  65. 65. 65 รายงานฉบับร่าง slideshare.net/imcinstitute
  66. 66. 66 Thank you thanachart@imcinstitute.com www.facebook.com/imcinstitute www.slideshare.net/imcinstitute
  67. 67. 67 ประเด็นในการอภิปราย
  68. 68. 68 ความจำเป็นด้านBig Data ขนาดข้อมูลในหน่วยงาน (เขียว) ชนิดข้อมูล (ชมพู) ลักษณะการวิเคราะห์ข้อมูล (เหลือง) ความพร้อมบุคลากร (ส้ม) อื่นๆ (ส้ม)
  69. 69. 69 ความต้องการด้านเทคโนโลยี เทคโนโลยีที่ควรมี (เขียว) ขนาดของระบบ (เหลือง)
  70. 70. 70 ความคาดหวังต่อระบบ Big Data รูปแบบที่ควรจะเป็น จัดทำเอง หรือ Cloud (เขียว) ความเหมาะสมของระบบ (ชมพู) สิ่งที่ผู้ให้บริการควรทำ (เหลือง) การคิดค่่าบริการ (ส้ม) ข้อเสนอแนะอื่นๆ (ฟ้า)

×