Downloaded 266 times
Uploaded byIMC Institute
Big Data as a Service
Slide "Big Data as a Service" งานประชาพิจารณ์ของ สรอ. 1 กพ. 59
More Related Content
![Big Data and Analytics [บริหารและประยุกต์ใช้ (Big) Data]](https://cdn.slidesharecdn.com/ss_thumbnails/20190906bigdataseminarsarun-191024021317-thumbnail.jpg?width=640&height=640&fit=bounds)
Big Data as a Service
- 1. งานระดมความเห็นการบริการ Big Data ของภาครัฐ 1กุมภาพันธ์2559
- 2. Government Big Data asa Service รศ.ดร.ธนชาติ นุ่มนนท์ ผู้อำนวยการสถาบันไอเอ็มซี 1 กุมภาพันธ์2559
- 3.
- 4. 4 วัตถุประสงค์ เพื่อจัดทำวิจัยและศึกษากรอบแนวคิดสำหรับ – การพัฒนาข้อมูลขนาดใหญ่ ความหมายและแนวทางการวาง โครงสร้างเทคโนโลยีขั้นพื้นฐาน – เพื่อนำไปใช้ในการจัดทำ Big Data ให้มีประสิทธิภาพสูงสุด – เพื่อเป็นบริการให้หน่วยงานภาครัฐที่สนใจสามารถนำมาใช้งาน ในอนาคต
- 5.
- 6. 6 Internet of ThingsCloudComputing Big Data/Analytic
- 7.
- 8.
- 9. 9 สิ่งที่เปลี่ยนแปลง ข้อมูลมีจำนวนมากขึ้น เทคโนโลยีสามารถเก็บข้อมูลขนาดใหญ่ได้ มีเทคโนโลยีในการวิเคราะห์ผลจากข้อมูลขนาดใหญ่ Data Science: MachineLearning ทำให้ช่วย สามารถคาดการณ์เรื่องต่างๆจากข้อมูลขนาดใหญ่ได้
- 10.
- 11.
- 12.
- 13. 13 เทคโนโลยีที่จำเป็น Big Data เทคโนโลยีในการเก็บข้อมูล –Hot Data (RDBMS), Warm-Cold Data (Hadoop) เทคโนโลยีในการวิเคาระห์ข้อมูล – SQL, Spark, Hive, MapReduce เทคโนโลยีในการแสดงผล (Data Visualisation)
- 14. 14 Big Data FutureArchitecture Sscial Media Images e-mails Crawlers ERP CRM LOB APPs Unstructured and Structured Data Parallel Data Warehouse Hadoop On Cloud Hadoop On Private Server Connectors S S R S BI Platform Familiar End User Tools Spreadsheet Predictive Analytics Data Market Place NoSQL Petabytes of Data (Unstructured) Hundreds of TB of Data (structured)
- 15. 15 ความเข้าใจผิดบางประการเกี่ยวกับ Big Data BigData คือการลงทุน Database ขนาดใหญ่ Big Data คือเทคโนโลยี Hadoop เราจะต้องทำโครงการ Data Warehouse แล้วค่อยทำโครงการ Big Data การทำ Big Data ต้องการ Data Scientist
- 16.
- 17. 17 Data Lake โดยใช้Hadoop Source: Danairat T.
- 18. 18 หลักการของ Data Lake Source:www.clearpeak.com, cr: Komes Chandavimol
- 19. 19 ความท้าทายด้านเทคโนโลยี ความซับซ้อนของเทคโนโลยีที่หลากหลาย งบประมาณการลงทุนมหาศาล บุคลากรที่มีความเชี่ยวชาญ – Big DataEngineer – Big Data Developer – Big Data Analyst – Data Scientist
- 20.
- 21.
- 22. 22 Hadoop Cluster Size:Survey Source: AtScale, 2015
- 23. 23 ตัวอย่างของรัฐบาลสหรัฐอเมริกา ซื้อบริการจากผู้ประกอบการเอกชน มาตรฐานกลางเช่น ITAR, FedRAMPSM ใช้หลักการ“certifyonce, use many times” เพื่อ การรับรองความปลอดภัยของระบบ Cloud ตัวอย่างเช่น Amazon Web Services: GovCloud
- 24.
- 25. 25 ตัวอย่าง Big DataPlatform ของ PInterest
- 26. 26 ตัวอย่างบริการ BDaaS ของAWS Amazon S3: Object Storage (Cold Data) Amazon RDS : Relational Database Amazon Redshift: Datawarehouse Amazon EMR: Hadoop as a Service Amazon Kenesis: Data Ingestion/Storage
- 27.
- 28.
- 29. 29 สิ่งที่สำรวจ สำรวจระดับความพร้อมของรัฐในการให้บริการ Big Dataในด้านต่างๆ (บุคลากร,ระบบ,เทคโนโลยี) สำรวจบุคลากร รู้จัก Big Data ในระดับใด,เห็นประโยชน์ของ Big Data ระดับใด และความจำเป็นระดับไหนขององค์กร สำรวจกระบวนการ Big Data ในปัจจุบัน ได้มีการเริ่มใช้ในองค์กรหรือยัง อย่างไร และ จะใช้เพื่อประโยชน์อะไร สำรวจ ลักษณะของข้อมูลที่พร้อมทำ Big Data สำรวจรูปแบบของการดึงข้อมูล สำรวจ โอกาส อุปสรรค และ ข้อจำกัดในการทำ Big Data ในองค์กร
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39. 39 Government : BigData as a Service
- 40. 40 Big Data Project:หน่วยงานลงทุนเอง ข้อดี สามารถเลือกติดตั้งระบบ Big Data Platform ใดๆก็ได้ ข้อมูลอยู่ในองค์กร สามารถควบคุมระบบเองได้ ข้อเสีย ค่าใช้จ่ายสูง และอาจเกิดการ ลงทุนซ้ำซ้อน การตัดสินใจการซื้อเทคโนโลยี บางอย่างอาจไม่คุ้มค่า อาจทำให้ไม่ได้ใช้งานอย่าง ประสิทธิภาพเต็มที่ ต้องมีบุคลากรมาดูแลระบบเอง
- 41. 41 Big Data Project:ใช้ Public Cloud ข้อดี มีราคาถูก มีผู้ดูแลระบบให้ สามารถเลือกใช้บริการต่างๆ ได้หลากหลาย สามารถที่ใช้เทคโนโลยีล่าสุด ได้ ข้อเสีย มีความเสี่ยงเรื่องข้อมูลไปอยู่ที่ต่าง ประเทศหรือหน่วยงานเอกชน ไม่สามารถ customize เทคโนโลยี ตามความต้องการได้ อาจมีปัญหาเรื่องการตั้งงบประมาณ จ่ายค่าบริการรายเดือน ผู้ให้บริการBDaaS ส่วนใหญ่อยู่ ต่างประเทศ
- 42. 42 Big Data Project:ใช้ Community Cloud ข้อดี ไม่ต้องลงทุนเองในหน่วยงาน ค่าบริการเป็นข้อตกลงระหว่างหน่วย งาน และอาจมีราคาถูกสุด มีข้อดีต่างๆเช่นเดียวกับ BDaaS ของ Public Cloud แต่หน่วยงาน ของรัฐดูแลให้ ไม่มีความเสี่ยงเรื่องข้อมูลไปอยู่กับ หน่วยงานนอกภาคราชการ ข้อเสีย ไม่สามารถ customize เทคโนโลยีตามความต้องการได้
- 43. 43 บริการ BDaaS ของภาครัฐ Storageas a Service Database as a Service Hadoop as a Service BI as a Service
- 44.
- 45. 45 การให้บริการ เน้น Warm/Cold Data เน้นเรื่องของเทคโนโลยีใหม่ๆในการประมวลผล หาเครื่องมือช่วยการทำVisualisation/Data Science ถ้าเป็น RDBMS ควรทำบริการแบบ RDS คือจัดหา Virtual Server ที่ติดตั้ง Database ในแต่ละหน่วยงาน
- 46.
- 47.
- 48.
- 49.
- 50. 50 Object Based Storage เก็บข้อมูลประเภทCold Data เสมือนการให้บริการ Cloud Sotrage อย่าง Amazon S3 ภาครัฐ ควรเป็นเทคโนโลยีที่ใช้ Community Servers ราคาต่อหน่วยจะถูกกว่า Hadoop ควรมีขนาดอย่างน้อย 1 PetaByte
- 51. 51 Hadoop เก็บข้อมูลประเภท Cold-Warm Dataและ Unstructure Data เสมือนการให้บริการHadoop as a Service ภาครัฐ ควรมีขนาดของ HDFS Storage อย่างน้อย 1 PetaByte ควรสร่้างระบบประมวลผลแบบ Hive, Impala, Spark, MapReduce ให้ผู้ใช้ ควรให้สามารถเชื่อมต่อกับ Data Visualization Tool ได้
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67.
- 68. 68 ความจำเป็นด้านBig Data ขนาดข้อมูลในหน่วยงาน (เขียว) ชนิดข้อมูล(ชมพู) ลักษณะการวิเคราะห์ข้อมูล (เหลือง) ความพร้อมบุคลากร (ส้ม) อื่นๆ (ส้ม)
- 69.
- 70. 70 ความคาดหวังต่อระบบ Big Data รูปแบบที่ควรจะเป็นจัดทำเอง หรือ Cloud (เขียว) ความเหมาะสมของระบบ (ชมพู) สิ่งที่ผู้ให้บริการควรทำ (เหลือง) การคิดค่่าบริการ (ส้ม) ข้อเสนอแนะอื่นๆ (ฟ้า)