Open Data Handbook ฉบับภาษาไทย
เพื่อสนับสนุนการจัดทำ Open Government Data โดยหน่วยงานที่สนใจหรือผู้ที่สนใจสามารถใช้คู่มือเล่มนี้เป็นแนวทางในการจัดทำชุดข้อมูลที่เหมาะสมสำหรับการเผยแพร่ และเป็นประโยชน์ในการนำขึ้นเว็บไซต์ ศูนย์กลางข้อมูลภาครัฐ (data.go.th) ต่อไป
Open Data Handbook ฉบับภาษาไทย
เพื่อสนับสนุนการจัดทำ Open Government Data โดยหน่วยงานที่สนใจหรือผู้ที่สนใจสามารถใช้คู่มือเล่มนี้เป็นแนวทางในการจัดทำชุดข้อมูลที่เหมาะสมสำหรับการเผยแพร่ และเป็นประโยชน์ในการนำขึ้นเว็บไซต์ ศูนย์กลางข้อมูลภาครัฐ (data.go.th) ต่อไป
This slides present concept of Data Mining and Big Data Analytics. The topices are:
- Internet of Things (IoT)
- Data Science/Mining applications
- Data Science/Mining techniques including (1) Association, (2) Clustering, (3) Classification
- CRISP-DM: Cross Industry Standard Process for Data Mining
Technology Trends Urge of IT Adoption in Thai EnterprisesIMC Institute
MC Institute urges Thai businesses to closely monitor IT’s turning point in 2014 With 4 new trends: SOA - Cloud - Big Data – BYOD; Press conference on April 2, 2014
My First Data Science Project (using Rapid Miner)
For Data Science Thailand Meetup #2
datascienceth.com
facebook.com/datascienceth
Dr. Eakasit Pacharawongsakda
This slides present concept of Data Mining and Big Data Analytics. The topices are:
- Internet of Things (IoT)
- Data Science/Mining applications
- Data Science/Mining techniques including (1) Association, (2) Clustering, (3) Classification
- CRISP-DM: Cross Industry Standard Process for Data Mining
Technology Trends Urge of IT Adoption in Thai EnterprisesIMC Institute
MC Institute urges Thai businesses to closely monitor IT’s turning point in 2014 With 4 new trends: SOA - Cloud - Big Data – BYOD; Press conference on April 2, 2014
My First Data Science Project (using Rapid Miner)
For Data Science Thailand Meetup #2
datascienceth.com
facebook.com/datascienceth
Dr. Eakasit Pacharawongsakda
10. 2. การนา Big Data ไปใช้ในองค์กร
ต้องมี Data เพียงพอที่จะนามาวิเคราะห์ในรูปแบบ Digital (ไม่จาเป็นต้องเป็น Structured data คือเป็น
Unstructured ก็ได้)
โครงสร้างพื้นฐานของระบบไอที : เช่น อุปกรณ์จัดเก็บข้อมูลขนาดใหญ่พร้อมด้วยระบบทดแทน
ตลอดจนระบบประมวลผลที่ทรงพลัง และเครือข่ายที่มีประสิทธิภาพสูง
Analytical Skills ส่วน นี้ยากที่สุด คือมีแต่ข้อมูลก็ไม่เกิดประโยชน์อันใด ต้องมีคนที่มีทักษะด้านการ
วิเคราะห์ข้อมูล เพื่อมาหาความสัมพันธ์ของข้อมูลแล้วสกัดเอาสาระออกมา
2.1 การสร้างแพลตฟอร์ม Big Data
เป้าหมายสาคัญคือ การผนวกรวมข้อมูล Big Data เข้ากับข้อมูลองค์กรของท่านอย่างง่ายดาย เพื่อให้
ท่านสามารถทาการวิเคราะห์เชิงลึกสาหรับชุดข้อมูลที่รวมเข้าด้วยกัน
2,2 ข้อกาหนดของโครงสร้างพื้นฐาน :
การรับข้อมูล
การจัดระเบียบข้อมูล
การวิเคราะห์ข้อมูล
2.3 การรับข้อมูล Big Data
เนื่องจาก Big data มี ลักษณะเป็นลากระแสของข้อมูลที่หลากหลายและมีการรับส่งรวดเร็ว ดังนั้น
โครงสร้างพื้นฐานที่รองรับข้อมูลต้องมีค่าดีเลย์ต่า และสามารถคาดการณ์ได้ทั้งในส่วนบันทึกและ
ค้นหาข้อมูล และต้องสามารถจัด ทรานแซคชั่นจานวนมาก
ฐานข้อมูล NoSQL มักถูกนามาใช้เพื่อรับและจัดเก็บข้อมูล Big Data สามารถปรับขนาดได้อย่าง
ยืดหยุ่น สามารถรวบรวมและจัดเก็บข้อมูลโซเชียลมีเดีย ที่มีความหลากหลาย
2.4 การจัดระเบียบข้อมูล Big Data
ระบบคลังข้อมูลเก่าเรียกว่า การผนวกข้อมูลเข้าด้วยกัน เนื่องจากข้อมูลใน Big Data มหาศาล จึง
ต้องทาการจัดระเบียบข้อมูลในตาแหน่งที่จัดเก็บดั้งเดิม เพื่อประหยัดเวลาและค่าใช้จ่าย เพราะไม่
ต้องย้ายข้อมูลมหาศาลไปมา โครงสร้างพื้นฐานที่จาเป็นสาหรับจัดระเบียบข้อมูล Big Data จะ ต้อง
11. สามารถประมวลผลและจัดการข้อมูลในตาแหน่งที่จัดเก็บเดิม โดยรองรับการรับส่งที่สูงมาก เพื่อ
จัดการกับขั้นตอนการประมวลผลข้อมูลจานวนมาก
Apache Hadoop ช่วยให้เราจัดระเบียบและประมวลผลข้อมูลจานวนมาก พร้อมทั้งจัดเก็บข้อมูล
ในคลัสเตอร์สตอเร็จดั้งเดิม
Hadoop HDFSเป็นระบบจัดเก็บข้อมูลระยะยาวสาหรับ Web Log โดย Web Log จะถูกแปลงเป็น
ลักษณะการท่องเว็ป ด้วยการรันโปรแกรม Map Reduce บนคลัสเตอร์ และสร้างผลลัพธ์รวม
บนคลัสเตอร์เดียวกัน จากนั้นจะโหลดผลลัพธ์รวมเหล่านี้เข้าสู่ระบบฐานข้อมูลเชิงสัมพันธ์ต่อไป
2.5 การวิเคราะห์ข้อมูล Big Data
เนื่อง จากข้อมูลไม่ได้ถูกเคลื่อนย้ายไปมาระหว่างขั้นตอนการจัดระเบียบ จึงสามารถทาการ
วิเคราะห์ข้อมูลในสภาพแวดล้อมเครือข่ายแบบกระจัดกระจาย โดยข้อมูลบางส่วนจะยังคงอยู่ใน
ตาแหน่งที่จัดเก็บเดิม และจะเข้าถึงอย่างโปร่งใสจากคลังข้อมูล
โครงสร้างพื้นฐานที่จาเป็นสาหรับการวิเคราะห์ข้อมูล Big Data จะต้องสามารถวิเคราะห์ข้อมูลที่
ลึกซึ้งมากขึ้น เช่นการวิเคราะห์เชิงสถิติ
ตัวอย่าง เช่น เมื่อมีการวิเคราะห์ข้อมูลสต็อกสินค้าจากตู้ขายสินค้าอัตโนมัติ ร่วมกับปฏิทินกิจกรรม
สาหรับสถานที่ตั้งวางตู้ขายสินค้า ก็จะสามารถระบุสินค้าที่ขายดีที่สุด รวมทั้งตารางเวลาที่
เหมาะสมสาหรับการเติมสินค้าในตู้