Management Apache Hadoop

1. MANAGING BIG DATA WITH APACHE HADOOP
Thinnaphat Borirak
50177004-Big Data Analytics

2. HTTPS://EN.WIKIPEDIA.ORG/WIKI/APACHE_HADOOP
ปัจจุบันนี การจัดการข้อมูลขนาดใหญ่หรือทีเรียกกันว่า Big Data นัน
บางส่วนอาจไม่สามารถทําได้โดย SQL Database เนืองจาก SQL
Database ในปัจจุบันนีถูกออกแบบมาในรูปแบบของ Centralization
Database เป็นเวลานานแล้ว ในขณะทีความต้องการการใช้ข้อมูลกลับ
มีเพิมขึนเรือย ๆ จน SQL Database แบบเดิมไม่อาจรับได้ไหว ดังนัน
แนวคิดในการทํา Distributed Computing จึงเกิดขึนมา และ Apache
Hadoop เองก็มีบทบาทในด้านนีอย่างมาก
Thinnaphat Borirak

3. APACHE HADOOP คือโครงการ OPENSOURCE SOFTWARE สําหรับการสร้างระบบ
DISTRIBUTED COMPUTING ทีมีความเสถียรสูง และสามารถเพิมขยายได้อย่างมหาศาล
โดยตัวอย่างของผู้ทีใช้งาน Apache Hadoop นันมีดังนี
Facebook จะมี Apache Hadoop Cluster อยู่ด้วยกัน 2 ชุด ชุดแรกประกอบจาก Server จํานวน 1,100 เครือง, CPU 8,800 Cores และพืนที 12PB (12,000TB)
และชุดทีสองประกอบจาก Server จํานวน 300 เครือง, CPU 2,400 Cores และพืนที 3PB (3,000TB)
Yahoo! นันใช้ Server มากกว่า 40,000 เครือง, CPU มากกว่า 100,000 ชุดสําหรับรองรับระบบ Ads และ Web Search
Thinnaphat Borirak

4. APACHE HADOOP คือโครงการ OPENSOURCE SOFTWARE สําหรับการสร้างระบบ
DISTRIBUTED COMPUTING ทีมีความเสถียรสูง และสามารถเพิมขยายได้อย่างมหาศาล
โดยตัวอย่างของผู้ทีใช้งาน Apache Hadoop นันมีดังนี
Facebook จะมี Apache Hadoop Cluster อยู่ด้วยกัน 2 ชุด ชุดแรกประกอบจาก Server จํานวน 1,100 เครือง, CPU 8,800 Cores และพืนที 12PB (12,000TB)
และชุดทีสองประกอบจาก Server จํานวน 300 เครือง, CPU 2,400 Cores และพืนที 3PB (3,000TB)
Yahoo! นันใช้ Server มากกว่า 40,000 เครือง, CPU มากกว่า 100,000 ชุดสําหรับรองรับระบบ Ads และ Web Search
นอกจากนียังมีผู้ให้บริการรายใหญ่ๆ มากมายอย่าง Twitter, ImageShack, Adobe, AOL และอืนๆ อีกมากมายทีใช้ Apache Hadoop ในการจัดเก็บข้อมูลแทนฐานข้อมูลแบบ
SQL รวมถึง Microsoft เองก็มีแผนทีจะให้ MS SQL สามารถทํางานเชือมต่อกับ Apache Hadoop ได้เช่นกัน อีกทังผู้ผลิตรายใหญ่ๆ อย่าง IBM และ Supermicro เองก็ให้การ
สนับสนุน Apache Hadoop กันเป็นอย่างมากอีกด้วย
ส่วนในวงการการศึกษาและทางภาคธุรกิจเอง Apache Hadoop ถือเป็นทางเลือกทีดีในงานหลายๆ ประเภท ไม่ว่าจะเป็นงานประมวลผลประสิทธิภาพสูง (High Performance
Computing), Scientific Computing, Image Processing, Information Retrieval, Machine Learning, Social Network Analysis, Data Mining, Business Intelligence
(BI), Network Security, Sensor Data Storage, Biomedical, Statistic, Machine Translation, Language Modeling, Bioinformatic, Email Analysis และอืนๆ อีกมากมาย
และแนวโน้มการเติบโตของ Apache Hadoop ก็จะยังคงมีต่อไปเรือย ๆ
Thinnaphat Borirak

5. อุปกรณ์สําหรับใช้งาน Apache Hadoop
เนืองจาก Apache Hadoop นันเป็น Opensource ทีสามารถทํางานร่วมกันได้กับทัง Linux และ Microsoft Windows โดยเรียกใช้งานผ่านภาษา Java เป็น
หลัก ดังนัน Apache Hadoop จึงสามารถทํางานบนเครืองคอมพิวเตอร์ได้หลากหลาย โดยต้องทําการเลือกสเปค (Specification) สําหรับอุปกรณ์ที
เหมาะสมสําหรับแต่ละหน้าทีใน Cluster ของ Apache Hadoop เพือใช้ในการติดตังให้ดี ทังนีสามารถทําการติดตังเพือทดสอบการใช้งาน ผ่าน
Visualization ได้ตามความเหมาะสมของอุปกรณ์นัน
ทีอเมริกา Supermicro เป็น Server ทีได้รับความนิยมอย่างสูงสําหรับทํา Apache Hadoop มาก เนืองจากมีความหลากหลายของ Hardware ทีสามารถ
ปรับแต่งและเลือกใช้ให้เหมาะสมกับแต่ละหน้าทีใน Hadoop และแต่ละ Project ทีแตกต่างกันได้ ทาง Supermicro จึงได้จัดชุดของ Hardware ทีเหมาะ
สําหรับการทํา Apache Hadoop มาดังนี
Apache Hadoop Name Node –สําหรับทําหน้าทีเป็น Apache Hadoop Name Node ติดตัง CPU Intel E5600 1 ชุด, หน่วยความจํา 48GB และ Hard
Drive แบบ 147GB SAS 15k 2 ชุด
Apache Hadoop Data Node 1U – เป็น Server ขนาด 1U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node ติดตัง CPU Intel E5600 1 ชุด,
หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 4 ชุด รวมพืนที 8TB ต่อ 1U เหมาะสําหรับระบบทีต้องการลงทุนเริมต้นทีละเล็กน้อย
Apache Hadoop Data Node 2U – เป็น Server ขนาด 2U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node ติดตัง CPU Intel E5600 1 ชุด,
หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 12 ชุด รวมพืนที 24TB ต่อ 2U เหมาะสําหรับระบบทีต้องการใช้พืนทีขนาดใหญ่
Apache Hadoop Twin Data Node 2U – เป็น Twin Server ขนาด 2U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node มี Server 2 ชุดแบบ Hot Swap
โดยแต่ละชุดติดตัง CPU Intel E5600 1 ชุด, หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 12 ชุด รวมพืนที 24TB ต่อ 2U เหมาะ
สําหรับระบบทีต้องการใช้พืนทีขนาดใหญ่ และต้องการหน่วยประมวลผลจํานวนมาก
Thinnaphat Borirak

6. อุปกรณ์สําหรับใช้งาน Apache Hadoop
เนืองจาก Apache Hadoop นันเป็น Opensource ทีสามารถทํางานร่วมกันได้กับทัง Linux และ Microsoft Windows โดยเรียกใช้งานผ่านภาษา Java เป็น
หลัก ดังนัน Apache Hadoop จึงสามารถทํางานบนเครืองคอมพิวเตอร์ได้หลากหลาย โดยต้องทําการเลือกสเปค (Specification) สําหรับอุปกรณ์ที
เหมาะสมสําหรับแต่ละหน้าทีใน Cluster ของ Apache Hadoop เพือใช้ในการติดตังให้ดี ทังนีสามารถทําการติดตังเพือทดสอบการใช้งาน ผ่าน
Visualization ได้ตามความเหมาะสมของอุปกรณ์นัน
ทีอเมริกา Supermicro เป็น Server ทีได้รับความนิยมอย่างสูงสําหรับทํา Apache Hadoop มาก เนืองจากมีความหลากหลายของ Hardware ทีสามารถ
ปรับแต่งและเลือกใช้ให้เหมาะสมกับแต่ละหน้าทีใน Hadoop และแต่ละ Project ทีแตกต่างกันได้ ทาง Supermicro จึงได้จัดชุดของ Hardware ทีเหมาะ
สําหรับการทํา Apache Hadoop มาดังนี
Apache Hadoop Name Node –สําหรับทําหน้าทีเป็น Apache Hadoop Name Node ติดตัง CPU Intel E5600 1 ชุด, หน่วยความจํา 48GB และ Hard
Drive แบบ 147GB SAS 15k 2 ชุด
Apache Hadoop Data Node 1U – เป็น Server ขนาด 1U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node ติดตัง CPU Intel E5600 1 ชุด,
หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 4 ชุด รวมพืนที 8TB ต่อ 1U เหมาะสําหรับระบบทีต้องการลงทุนเริมต้นทีละเล็กน้อย
Apache Hadoop Data Node 2U – เป็น Server ขนาด 2U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node ติดตัง CPU Intel E5600 1 ชุด,
หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 12 ชุด รวมพืนที 24TB ต่อ 2U เหมาะสําหรับระบบทีต้องการใช้พืนทีขนาดใหญ่
Apache Hadoop Twin Data Node 2U – เป็น Twin Server ขนาด 2U สําหรับทําหน้าทีเป็น Apache Hadoop Data Node มี Server 2 ชุดแบบ Hot Swap
โดยแต่ละชุดติดตัง CPU Intel E5600 1 ชุด, หน่วยความจํา 24GB และ Hard Drive แบบ 2TB SATA จํานวน 12 ชุด รวมพืนที 24TB ต่อ 2U เหมาะ
สําหรับระบบทีต้องการใช้พืนทีขนาดใหญ่ และต้องการหน่วยประมวลผลจํานวนมาก
IPMI Server Management – เป็นระบบสําหรับบริหารจัดการ Server จากระยะไกล โดยสามารถทํา Remote KVM-over-
LAN และ Virtual Media-over-LAN เพือให้สามารถบริหารจัดการได้เสมือนทํางานอยู่ทีหน้าเครือง Server แต่ละเครืองได้
ผ่านทาง LAN โดยไม่ต้องมี Hardware ต่อพ่วงเพิมเติม
Thinnaphat Borirak

7. Hadoop:
An Industry Perspective
ในอนาคต APACHE HADOOP และ BIG DATA SOLUTION จะกลายเป็ นสิงทีเข้ามามีบทบาทในระดับ ENTERPRISE มากขึน
เรือย ๆ โดยค่าใช้จ่ายของอุปกรณ์คอมพิวเตอร์ทีใช้ในองค์กร โดยรวมจะประหยัดกว่าระบบจัดเก็บข้อมูลแบบในปั จจุบัน
เนื องจากการนํา SERVER มาใช้งานในลักษณะ CLOUD ทําให้สามารถตัดค่าใช้จ่ายหรือลดต้นทุนของระบบจัดเก็บข้อมูล
แบบ SAN STORAGE หรือ NAS STORAGE ได้ โดยมีความสามารถในการเก็บรักษาข้อมูลในระดับทีสูงขึนอีกด้วย
ดังนันการเลือกใช้อุปกรณ์คอมพิวเตอร์ให้เหมาะสมในระบบคลาวด์ (CLOUD) จึงกลายเป็ นสิงสําคัญตามมา ในขณะทีผู้ดูแล
ระบบเองก็ควรจะต้องเริมศึกษาเทคโนโลยีใหม่ ๆ เพิมเติมนอกเหนื อจาก SQL DATABASE แบบเดิม ๆ ด้วยเช่นกัน
https://www.slideshare.net/cloudera/hadoop-an-industry-perspective
Thinnaphat Borirak

8. Assignment 1
นอกจากบริษัท Facebook กับ Yahoo ทีผมเสนอมาแล้วนันว่าเป็นบริษัทฯ ทีใช้ระบบจัดการฐานข้อมูล
ของ Apache Hadoop ในการวิเคราะห์ข้อมูลแบบ Un-Structure ดังนันจึงอยากทราบว่ามีบริษัทฯ ใดอีก
บ้างทีใช้รูปแบบการประมวลผลเบืองหลังเป็น Apache Hadoop มาทํา Commercial Distribution ลอง
เสนอมาสัก 3 ตัวอย่าง ว่า บริษัทเหล่านัน ใช้ประโยชน์อะไรจาก Hadoop
Answer:
eBay, Amazon (Elastic Map Reduce), Cloudera , MapR, IBM Infoshphere BigInsight, Hortonwork
ทีนํามา Hadoop มาทํา Commercial Distribution
Thinnaphat Borirak

9. What is Hadoop ?
หลังจากทีพวกเราทราบแล้วว่า Big Data คืออะไร ใช้ทําอะไรได้บ้าง แล้วมีรูปแบบการจัดเก็บและใช้งานฐานข้อมูลแบบ
RDBMS, MongoDB มาแล้ว ทีนีเรามาดูกันต่อว่าและ Hadoop คืออะไร เกียวข้องอย่างไรกับ Big Data โดยตามหลักการ
ของ Hadoop นันคือ Java programming framework ทีรองรับการทํางานทีต้องประมวลผลและเก็บข้อมูลขนาดใหญ่ ซึง
เป็นส่วนหนึงของ Apache Project โดย Hadoop ถูกออกแบบมาให้เป็น Application ทีสามารถทํางานได้บนระบบต่างๆ
แบบ Node หรือมีเครืองคอมพิวเตอร์จํานวนหลายๆ เครืองมาประมวลผลพร้อมกันในรูปแบบของไฟล์ เพือรองรับชุด
ข้อมูลขนาดใหญ่ ซึงจะใช้รูปแบบของการจัดการไฟล์ โดยระบบจะทําการแตกไฟล์ออกกระจายไปตาม Node ต่าง ๆ
เพือให้สามารถทํางานได้รวดเร็ว พร้อมทังส่งข้อมูลหากันระหว่าง Node ทังหมด รวมถึงมีความสามารถในการจัดการ
Node ทีเสียหายได้โดยไม่ทําให้เกิดข้อมูลสูญหายระหว่างการจัดเก็บเพือประมวลผลข้อมูลนัน
NOTE: ปัจจุบัน Hadoop ถูกนํามาใช้ในงาน Big Data จําพวกการคํานวณข้อมูลทางวิทยาศาสตร์เฉพาะทาง หรือใช้ใน
เชิงธุรกิจ รวมถึงการวางแผนการขาย หรือใช้ในการประมวลผลข้อมูลจากเซ็นเซอร์ (Sensor) ต่าง ๆ ทีเป็นจํานวนมาก
โดยจะเรียกว่าไอโอที (IOT-internet of things)
Thinnaphat Borirak

10. History of Hadoop
Hadoop ถูกสร้างขึนโดยนาย Doug Cutting และ Mike Cafarella ในปี
2006 ซึงทํางานที Nutch search engine โดยเค้าได้ idea มาจาก
Google’s Mapreduce ซึงเป็น software framework ทีทําการแตก
application ออกเป็นส่วนเล็ก ๆ จํานวนมาก เรียกว่า fragment หรือ
block ทีสามารถทํางานบน node แต่ละตัว โดยรวมกันเป็น cluster และ
ทําให้เกิด Hadoop Version 1.0 ขึนมาช่วง พฤศจิกายน 2012 โดยเป็น
ส่วนหนึงใน Apache project (พนักงานของ Yahoo) และตังชือตามช้าง
ของเล่นของลูกชาย Doug
ตังแต่ทีเริมประกาศโปรแกรม Hadoop Version 1.0 ออกไป ก็ยังถูก
พัฒนาอย่างต่อเนืองจนมาถึง Hadoop Version 2.0 ซึงพัฒนาในเรืองการ
จัดการทรัพยากรได้ดีขึน โดยบริษัทต่าง ๆ สามารถนําเอา Hadoop มาใช้
งานใน Data Center ได้ สามารถขยายเพิมได้ในรูปแบบ Cloud Service
อย่างเช่น Amazon Web services (AWS), Google Cloud Platform และ
Microsoft Azure ซึงเดียวนีบริษัทส่วนมากก็รองรับการทํางานของ
โปรแกรม Hadoop กันหมดแล้ว
Doug Cutting
Mike Cafarella
Dec 2004 – Google GFS paper published
July 2005 – Nutch uses MapReduce
Feb 2006 – Starts as a Lucene subproject
Apr 2007 – Yahoo! on 1000-node cluster
Jan 2008 – An Apache Top Level Project
Jul 2008 – A 4000 node test cluster
May 2009 – Hadoop sorts Petabyte in 17 hours
Published: 2022-07-29 | Version: 3.3.4
Thinnaphat Borirak

11. Hadoop VS. RDBMS
RDBMS
Hadoop
Scale-up
Scale-out
Tables
Key/value pairs
Say what you want (SQL)
Say how to process the data
Online/real-time
Offline/batch
Hadoop Version 1 จะมีองค์ประกอบหลัก 2 ส่วนก่อนพัฒนาเป็น Version 2 คือ
•HDFS (Hadoop Distribution File System) ทีทําหน้าทีเป็นส่วนเก็บข้อมูลซึงจะ
เก็บข้อมูลขนาดใหญ่ทีจะแบ่งเป็นไฟล์ย่อยขนาดใหญ่เก็บลงใน Data Node จํานวน
มาก โดยจะมี Master Node ทีทําหน้าทีระบุตําแหน่งของข้อมูลทีเก็บใน Data node
•Map/Reduce จะเป็นส่วนประมวลผลข้อมูล ทีนักพัฒนาสามารถเขียนโปรแกรม
โดยใช้ภาษาจาวามาวิเคราะห์ข้อมูลในรูปแบบของฟังก์ชันการ Map และ Reduce
ได้ โดยระบบก็จะกระจาย Task ไปรันแบบ Parallel บนเครืองหลายๆ เครือง
NOTE: ข้อมูลทีเก็บอยู่ใน HDFS จะไม่ใช่รูปแบบ Table อย่างทีเก็บ
ในฐานข้อมูล RDBMS จะเหมาะกับการเก็บข้อมูลขนาดใหญ่มากที
ไม่ต้องมีการเปลียนแปลง และไม่สามารถอ่านหรือเขียนข้อมูลแบบ
Random Access ได้ ส่วนการประมวลผลแบบ Map/Reduce ก็
ไม่ใช่ real-time Online แบบ SQL ของ RDBMS แต่จะเป็นแบบ
Batch Offline ใช้เวลาพอสมควรขึนอยู่กับขนาดข้อมูล
Hadoop Feature Releases
NOTE: Any Apps Can Integrate With Hadoop V 2.0 +
Thinnaphat Borirak

12. Hadoop VS. RDBMS
RDBMS
Hadoop
Scale-up
Scale-out
Tables
Key/value pairs
Say what you want (SQL)
Say how to process the data
Online/real-time
Offline/batch
Hadoop Version 1 จะมีองค์ประกอบหลัก 2 ส่วนก่อนพัฒนาเป็น Version 2 คือ
•HDFS (Hadoop Distribution File System) ทีทําหน้าทีเป็นส่วนเก็บข้อมูลซึงจะ
เก็บข้อมูลขนาดใหญ่ทีจะแบ่งเป็นไฟล์ย่อยขนาดใหญ่เก็บลงใน Data Node จํานวน
มาก โดยจะมี Master Node ทีทําหน้าทีระบุตําแหน่งของข้อมูลทีเก็บใน Data node
•Map/Reduce จะเป็นส่วนประมวลผลข้อมูล ทีนักพัฒนาสามารถเขียนโปรแกรม
โดยใช้ภาษาจาวามาวิเคราะห์ข้อมูลในรูปแบบของฟังก์ชันการ Map และ Reduce
ได้ โดยระบบก็จะกระจาย Task ไปรันแบบ Parallel บนเครืองหลายๆ เครือง
NOTE: ข้อมูลทีเก็บอยู่ใน HDFS จะไม่ใช่รูปแบบ Table อย่างทีเก็บ
ในฐานข้อมูล RDBMS จะเหมาะกับการเก็บข้อมูลขนาดใหญ่มากที
ไม่ต้องมีการเปลียนแปลง และไม่สามารถอ่านหรือเขียนข้อมูลแบบ
Random Access ได้ ส่วนการประมวลผลแบบ Map/Reduce ก็
ไม่ใช่ real-time Online แบบ SQL ของ RDBMS แต่จะเป็นแบบ
Batch Offline ใช้เวลาพอสมควรขึนอยู่กับขนาดข้อมูล
Hadoop Feature Releases
NOTE: Any Apps Can Integrate With Hadoop V 2.0 +
Hadoop 1.0 มีข้อจํากัดหลายด้าน เช่น ระบบการสํารองของ
Secondary Master เป็นแบบ Passive และไม่สามารถทํา Multiple
Master ได้จึงจํากัดเครือง Slave ไว้ไม่เกิน 4,000 เครือง และขัอ
สําคัญการประมวลผลต้องใช้ Map/Reduce ทีเป็นแบบ Batch
ดังนันจึงมีการพัฒนา Hadoop 2.0 ทีจะลดข้อจํากัดต่าง ๆ ใน
เวอร์ชันแรก Hadoop เวอร์ชันนีจึงมีสถาปัตยกรรมดังรูป โดยมีการ
นํา Data Operating System ทีเรียกว่า YARN (Yet Another
Resource Negotiator)
Thinnaphat Borirak

13. https://activewizards.com/blog/hadoop-3-comparison-with-hadoop-2-and-spark/

14. Hadoop System
ระบบ Hadoop เองจะมีองค์ประกอบหลักอยู่แค่สองส่วนคือ HDFS และ Map/Reduce ซึงค่อนข้างจะไม่สะดวกกับ
ผู้ใช้งานทีมีความต้องการอืน ๆ เช่น การประมวลผลโดยใช้ภาษา SQL การเขียนหรืออ่านข้อมูลแบบ Random access
หรือการถ่ายโอนข้อมูลจากทีอืน ๆ จึงมีการพัฒนา Project อืน ๆ ทีมาทํางานร่วมกับ Hadoop เพือให้ได้ประสิทธิภาพดี
ยิงขึน โดยมุ่งเน้นทางด้านต่าง ๆ ให้เกิดประโยชน์ อาทิเช่น
1. ความเร็ว (Speed): สามารถประมวลผลข้อมูลทังแบบมีโครงสร้างและไม่มีโครงสร้างได้ภายในเวลาอันสัน
2. ทนทานต่อความเสียหาย (Fault-tolerance): สามารถทํางานต่อได้แม้จะเกิดความขัดข้องขึน
3. ข้อมูลพร้อมใช้งานตลอดเวลา (Data Availability): มีข้อมูลทีทําสําเนาและกระจายไปยัง Node อืนๆ ทําให้มันใจได้ว่า
ข้อมูลจะไม่หายไปไหน
4. ประมวลผลแบบขนาน (Parallel Processing): ประมวลผลข้อมูลแบบขนานกับไปกับงานอืนๆได้ในชุดเดียวกัน ทําให้
ทํางานได้ไวขึน
Thinnaphat Borirak

15. สถาปัตยกรรมฮาร์ดแวร์ของระบบ Hadoop จะประกอบด้วย
เครือง Server จํานวนมาก โดยจะมีเครืองหนึงทําหน้าทีเป็น
Master และจะมีเครืองลูกอีกจํานวนมากทําหน้าทีเป็น Slave
โดยปกติ Hadoop จะกําหนดให้ข้อมูลทีเก็บในเครือง Slave มี
การเก็บข้อมูลซํากันสามแห่ง ดังนันเครือง Slave ควรจะมีอย่าง
น้อยสามเครือง ส่วนเครือง Master ก็จะทําหน้าทีหลักในการ
ระบุตําแหน่งของข้อมูลและ Task ทีกระจายในการประมวลผล
ของ Map/Reduce ดังนันเครือง Master จึงมีความสําคัญอย่าง
มาก และต้องมีเครือง Secondary ในการทีจะสํารองไว้ในกรณี
เครือง Master Down ไป ดังนันระบบ Hadoop โดยทัวไปจะ
เริมต้นทีเครือง Server 5 เครือง สําหรับ Master หนึงเครือง,
Secondary หนึงเครือง และ Slave สามเครือง โดยหากต้องการ
เก็บข้อมูลมากขึนหรือต้องการประมวลผลข้อมูลให้เร็วขึนก็ต้อง
เพิมจํานวนเครือง Slave ให้มากขึน ทังนีขนาดของข้อมูลทีเก็บ
ได้ก็จะขึนอยู่กับขนาดความจุข้อมูลของเครือง Slave รวมกัน
หารด้วยจํานวนข้อมูลทีต้องการเก็บซํา (default คือ 3) ซึงการ
เก็บข้อมูลจํานวนเป็น Petabyte ได้ก็ต้องมีเครืองเป็นจํานวน
มากกว่าร้อยเครือง โดยปัจจุบัน Yahoo เป็น site ทีมี Hadoop
Cluster ใหญ่ทีสุด โดยมีเครืองจํานวนถึง 40,000 เครือง
Apache Hadoop Network Architecture
Work Node
Hadoop Cluster
Thinnaphat Borirak

16. What is NameNode
NameNode-it is also known as Master in Hadoop Cluster. Below Listed Are The Main Function Performed By Namenode:
• Namenode Stores Metadata Of Actual Data. E.G.
Filename, Path, No. Of Blocks, Bolck Ids, Block
Location, No. Of Replicas, And Also Slave Related
Configuration.
• It Manages Filesystem Namespace.
• Namenode Regulates Client Access To Files.
• It Assigns Work To Slaves (Datanode)
• It Executes File System Namespace Operation Like
Opening/Closing Files, Renaming Files/Directory
• As Namenode Keep Metadata In Memory For Fast
Retrieval. So It Requires The Huge Amount Of Memory
For Its Operation.
https://phoenixnap.com/kb/apache-hadoop-architecture-explained
Thinnaphat Borirak

17. What is Secondary NameNode
It as A backup node.
*NameNode Holds the metadate for HDFS like block information, size etc. This
information is stored in main memory as well as disk for persistence storage.
The information is stored in 2 different files.
o Editlogs- It keep track of each and every changes to HDFS.
o Fsimage-It stores the snapshort of the file system
https://www.edureka.co/community/49846/explain-the-difference-between-name-node-secondary-name-node
Thinnaphat Borirak

18. What is DataNode
DataNode is also Known as Slave node.
• In Hadoop HDFS Architecture, DataNode Stores
actual data in HDFS
• DataNode responsible for serving, read and write
requests for the clients.
• DataNode can deploy on Community hardware
• DataNode sends Information to the NameNode
about the files and block stored in that node and
responds to the NameNode for all filesystem
operation.
• When a DataNode starts up it announce itself to
the NameNode along with the list of blocks it is
responsible for.
• DataNode is usually configured with a lot of hard
disk space. Because the actual data is stored in
the DataNode.
Thinnaphat Borirak

19. https://www.oreilly.com/library/view/apache-hadoop-3/9781788999830/21ee1c45-08d1-4279-be81-77ad850b09e8.xhtml
Thinnaphat Borirak

20. • HDFS stores the data in form of blocks
• Block size can be configured base on requirements, but the default size of each block is 128 MB in Apache 2.x
(64 MB in Apache Hadoop 1.x)
• Can configure the block size as per our requirement by changing the dfs.block.size property in hdfs-site.xml
HDFS Data Blocks
Fault Tolerance
HDFS Replication

Thinnaphat Borirak

21. HDFS Write Architecture
ตัวอย่าง HDFS Client ต้องการเขียนไฟล์ชือ “example.txt” ขนาด 248 MB ขนาดบล็อกของระบบจะถูกกําหนดค่าเป็น 128 MB (ค่าเริมต้น) ฉะนัน Client จะ
แบ่งไฟล์ “example.txt” ออกเป็น 2 บล็อค โดยอันหนึงมีขนาด 128 MB (บล็อค A)
และอีกอันมีขนาด 120 MB (บล็อค B)
ดังนัน เมือข้อมูลถูกเขียนลงใน HDFS จะมีขันตอนตามนี คือ ในขันตอนแรก HDFS Client จะติดต่อไปยัง NameNode เพือขอบันทึก 2 บล็อก เช่น บล็อก A
และบล็อก B จากนัน NameNode จะให้สิทธิในการเขียนแก่ไคลเอนต์และจะให้ทีอยู่ IP ของ DataNodes ทีบล็อกไฟล์จะถูกคัดลอกลงไป ซึงการเลือกทีอยู่ IP ของ
DataNodes นันจะเป็นการสุ่มตามความพร้อมใช้งาน (Availability, replication factor และ rack awareness) สมมติว่าปัจจัยการจําลองถูกตังค่าเป็นค่าเริมต้น
เป็น 3 ดังนันสําหรับแต่ละบล็อก NameNode จะให้รายการทีอยู่ IP ของ DataNodes แก่ไคลเอ็นต์ รายการจะไม่ซํากันสําหรับแต่ละบล็อก สมมติว่า NameNode
ให้รายการทีอยู่ IP ต่อไปนีแก่ไคลเอ็นต์:
สําหรับบล็อก A รายการ A = {IP ของ DataNode 1, IP ของ DataNode 4, IP ของ DataNode 6} สําหรับ Block B ให้ตังค่า B = {IP ของ DataNode 3, IP
ของ DataNode 7, IP ของ DataNode 9} แต่ละบล็อกจะถูกคัดลอกในโหนดข้อมูลทีแตกต่างกัน 3 โหนด เพือรักษา Replication Factor ทีเป็นการจําลองแบบ
ให้สอดคล้องกันทัวทังคลัสเตอร์ โดยกระบวนการคัดลอกข้อมูลทังหมดจะเกิดขึนในสามขันตอน ดังนี
1. Set up of Pipeline
2. Data streaming and replication
3. Shutdown of Pipeline (Acknowledgement stage)
https://www.edureka.co/blog/apache-hadoop-hdfs-architecture/#rack_awareness
Thinnaphat Borirak

22. https://www.edureka.co
Thinnaphat Borirak

23. https://www.edureka.co
Thinnaphat Borirak

24. https://www.edureka.co
Thinnaphat Borirak

25. https://www.edureka.co
Thinnaphat Borirak

26. HDFS Read Architecture
https://www.edureka.co
Thinnaphat Borirak

27. สรุป HDFS
1) สามารถเก็บข้อมูลไม่จํากัดปริมาณ จากความสามารถการเพิมเครือง (Node) ในการเก็บข้อมูลได้
2) คงทนต่อความล้มเหลวของเครืองเก็บข้อมูลด้วยการสําเนาข้อมูลไปยังเครืองต่าง ๆ
3) มีประสิทธิภาพในการเข้าถึงข้อมูลทีดี
4) ข้อมูลจะถูกแบ่งออกเป็น Blocks กระบวนการจัดเก็บจะส่งข้อมูลจะถูกแยกไปเก็บในแต่ละเครืองทีกําหนดเป็นเครือง
เก็บข้อมูล (DataNode)
5) HDFS จะแบ่งออกคอมโพเนนท์ ออกเป็น 2 ส่วน คือ NameNode และ DataNode
◦ NameNode 1) เป็น Directory สําหรับให้ข้อมูลว่าถ้าต้องการเรียกดูข้อมูลจะต้องไปอ่านจากเครืองเก็บข้อมูลใดบ้าง
2) ควบคุมการเข้าถึงข้อมูล (Permission) ทีเก็บในเครืองต่าง ๆ ใน Cluster
◦ DataNode (Worker Node) : ทําหน้าทีดูแลการจัดเก็บและบันทึกข้อมูลทีเป็น Block
Thinnaphat Borirak

28. Hadoop Ecosystem
Below are the Hadoop components, that together
form a Hadoop ecosystem,
HDFS: Hadoop Distributed File System
YARN: Yet Another Resource Negotiator
MapReduce: Data processing using programming
Spark: In-memory Data Processing
PIG, HIVE: Data Processing Services using Query
(SQL-like)
Hbase: NoSQL Database
Mahout, Spark Mllib: Machine Learning
Apache Drill: SQL on Hadoop
Oozie: Job Scheduling
Solr & Lucene: Searching & Indexing
Zookeeper: Managing Cluster
Ambari: Provision, Monitor and Maintain cluster
Flume, Sqoop: Data Ingesting Services
https://www.edureka.co
Thinnaphat Borirak

29. Hadoop Distributed File System (HDFS)
ส่วนประกอบแรก เป็นทีแรกทีเรานําข้อมูลเข้ามาเก็บไว้อย่าง หน่วยเก็บข้อมูล หรือทีเรียกว่า Hadoop Distributed File System (HDFS) เมือการเก็บข้อมูลขนาดใหญ่ในเครืองเดียว
นันแทบเป็นไปไม่ได้ การกระจายข้อมูลเข้าไปเก็บไว้เป็น บล็อก (Block) ในหลายๆเครือง และแบ่งไปตามขนาดจึงเป็นเรืองทีสามารถทําได้
ตัวอย่าง สมมติว่าเรามีข้อมูล 600 MB บนระบบปฏิบัติการ HDFS จะแบ่งข้อมูลออกเป็นก้อนๆ เรียก บล็อก (Block) ขนาด 128 MB เท่า ๆ กัน 4 บล็อก แล้วเก็บ 88 MB ทีเหลือ
ไว้ในบล็อกที 5 ตามรูปด้านล่าง โดยรูปแบบการจัดเก็บ ก็ได้อธิบายไปแล้ว ในหัวข้อทีผ่านมาเรืองของ Apache Hadoop Architecture ทีมีอยู่ 2 องค์ประกอบหลัก คือ NameNode กับ
DataNode
* วิธีการทํางานของ HDFS สาเหตุทีแบ่งข้อมูลออกเป็น 128 MB นันก็เพราะว่า เป็นขนาดทีกําหนดไว้ของระบบปฏิบัติการ HDFS แต่เราก็สามารถเข้าไปเปลียน ขนาดได้ถ้าต้องการ
Thinnaphat Borirak

30. YARN (Yet Another Resource Negotiator)
ส่วนประกอบทีสอง เป็นส่วนสําคัญมากทีสุดส่วนหนึงใน ระบบ Hadoop เพราะทําหน้าทีจัดตารางเวลาให้งาน (Task) และบริหารจัดการทรัพยากร (Resource) ต่างๆ เช่น หน่วย
เก็บข้อมูล และหน่วยประมวลผลบนระบบ ให้ทํางานได้ลืนไหล เป็นเหมือนผู้คุมงานทีคอยจัดสรรงาน และคนงาน
YARN มีส่วนประกอบหลักๆ ตามนี
Client: คนทีส่งงานทีต้องทําออกไป
Resource Manager: ทําการจัดการทรัพยากรทีมี และจํานวน Node ทียังสามารถทํางานได้
Node Manager: คอยติดตามควบคุมงานของ Container รวมถึงแบ่งทรัพยากรในการคํานวณ ใน Container รวมถึง Launch Program (Application Master)
Container: เป็น package ทีมีทรัพยากรในการคํานวณอย่าง RAM, CPU และ Network
Application Manager: ทําหน้าทีรันงานทีสังมา และคุยกับ Resource Manager เรืองทรัพยากรในการรันงาน
NOTE: เมือ Client ต้องการทํางานอย่างหนึง เช่น MapReduce
ก็จะสังงานไปที Resource Manager หลังจาก Resource
Manager เช็คความพร้อมแล้ว ก็จะติดต่อให้ Node Manager
สร้าง Container และ รัน Application Manager ในนัน
Application Manager ทําการสังการรันงานโดยตรวจสอบ
DataNode ใน HDFS แล้วแบ่งงานไปตาม Node จะมีการอัพเดท
อยู่เรือย ๆ ว่าทํางานสําเร็จหรือไม่ ถ้าล้มเหลว Application
Manager ก็จะเปลียน Container แล้วลองรันงานอีกครัง
Hadoop YARN Tutorial – Learn the Fundamentals of YARN Architecture
Thinnaphat Borirak

31. MapReduce
ส่วนประกอบทีสาม เป็นส่วนทีใช้ในการสังการประมวลผลข้อมูลขนาดใหญ่ ซึง
ทําได้หลากหลายโครงสร้าง ทังข้อมูลทีมีโครงสร้างชัดเจน (Structured Data)
ไปจนถึง ข้อมูลทีไม่มีโครงสร้าง (Unstructured Data) MapReduce ทําการ
ประมวลผลแบบขนานไปพร้อม ๆ กันทําให้สามารถประมวลผล วิเคราะห์ข้อมูล
ขนาดใหญ่โดยใช้คอมพิวเตอร์ทีอยู่ในระบบ (Cluster) เดียวกันได้ และยังมี
ความเร็ว (Speed) ความน่าเชือถือ (Reliability) ทีเพิมขึนอีกด้วย
MapReduce แบ่งการทํางานเป็ น 3 ส่วนหลัก คือ
1. Mapping คือเป็นส่วนแรกในกระบวนการ โดยจะทําการ แบ่ง (splitting)
และ ทําการกําหนดข้อมูล (mapping) โดยเริมจากการทีเรามีข้อมูลชุดใหญ่ชุด
หนึง แล้วนํามาแบ่งเป็นหลายส่วน เรียกว่า splitting จากนันการแตกข้อมูลให้อยู่
ในรูปแบบ key-value เรียกการ mapping
2. Shuffling คือส่วนหลังจากทําการ Mapping ให้ข้อมูลออกมาในรูปแบบ
key-value แล้ว โดยส่วนนีจะทําการจัดเรียง (sorting) และรวบรวม (merging)
ข้อมูล จากการเรียงและรวมข้อมูลทีมี key เหมือนกันให้อยู่ด้วยกัน ผลลัพธ์จาก
ขันนีก็ยังอยู่ในรูปแบบ key-value เหมือนเดิม
3. Reducing คือส่วนทีรวมผลลัพธ์ของข้อมูลทีออกมาจากการ Map และ
Shuffle เป็นการสรุปผลแต่ละกลุ่ม key-value ให้เหลือค่าเดียว
แผนภาพต่อไปนีแสดงตัวอย่างของ MapReduce ทีมีสามขันตอนหลัก จะเห็นได้ว่าใช้
MapReduce ในการนับจํานวนคําทังหมดของคําศัพท์แต่ละคําในข้อมูล
• เริมจากการแบ่งข้อมูลออกให้อยู่ในรูปแบบ key-value อย่าง (Deer, 1)
• ทําการจัดเรียง (shuffle) โดยอาศัย key ทีเหมือนๆกัน เช่น ในแต่ละกลุ่ม Deer (1, 1)
• ทําการรวมผลลัพธ์ในช่วง reduce โดยได้จํานวนคําออกมาเป็น Deer, 2
The Overall MapReduce Word Count Process
Understanding MapReduce in Hadoop
Thinnaphat Borirak

32. MapReduce
ส่วนประกอบทีสาม เป็นส่วนทีใช้ในการสังการประมวลผลข้อมูลขนาดใหญ่ ซึง
ทําได้หลากหลายโครงสร้าง ทังข้อมูลทีมีโครงสร้างชัดเจน (Structured Data)
ไปจนถึง ข้อมูลทีไม่มีโครงสร้าง (Unstructured Data) MapReduce ทําการ
ประมวลผลแบบขนานไปพร้อม ๆ กันทําให้สามารถประมวลผล วิเคราะห์ข้อมูล
ขนาดใหญ่โดยใช้คอมพิวเตอร์ทีอยู่ในระบบ (Cluster) เดียวกันได้ และยังมี
ความเร็ว (Speed) ความน่าเชือถือ (Reliability) ทีเพิมขึนอีกด้วย
MapReduce แบ่งการทํางานเป็ น 3 ส่วนหลัก คือ
1. Mapping คือเป็นส่วนแรกในกระบวนการ โดยจะทําการ แบ่ง (splitting)
และ ทําการกําหนดข้อมูล (mapping) โดยเริมจากการทีเรามีข้อมูลชุดใหญ่ชุด
หนึง แล้วนํามาแบ่งเป็นหลายส่วน เรียกว่า splitting จากนันการแตกข้อมูลให้อยู่
ในรูปแบบ key-value เรียกการ mapping
2. Shuffling คือส่วนหลังจากทําการ Mapping ให้ข้อมูลออกมาในรูปแบบ
key-value แล้ว โดยส่วนนีจะทําการจัดเรียง (sorting) และรวบรวม (merging)
ข้อมูล จากการเรียงและรวมข้อมูลทีมี key เหมือนกันให้อยู่ด้วยกัน ผลลัพธ์จาก
ขันนีก็ยังอยู่ในรูปแบบ key-value เหมือนเดิม
3. Reducing คือส่วนทีรวมผลลัพธ์ของข้อมูลทีออกมาจากการ Map และ
Shuffle เป็นการสรุปผลแต่ละกลุ่ม key-value ให้เหลือค่าเดียว
แผนภาพต่อไปนีแสดงตัวอย่างของ MapReduce ทีมีสามขันตอนหลัก จะเห็นได้ว่าใช้
MapReduce ในการนับจํานวนคําทังหมดของคําศัพท์แต่ละคําในข้อมูล
• เริมจากการแบ่งข้อมูลออกให้อยู่ในรูปแบบ key-value อย่าง (Deer, 1)
• ทําการจัดเรียง (shuffle) โดยอาศัย key ทีเหมือนๆกัน เช่น ในแต่ละกลุ่ม Deer (1, 1)
• ทําการรวมผลลัพธ์ในช่วง reduce โดยได้จํานวนคําออกมาเป็น Deer, 2
The Overall MapReduce Word Count Process
Understanding MapReduce in Hadoop
กรณีตัวอย่างของนักเรียนตามแผนกต่าง ๆ ทีต้องการให้มีการคํานวณจํานวนนักศึกษาในแต่ละ
แผนก ในเบืองต้น การ Mapping จะดําเนินการและคํานวณนักศึกษาทีปรากฎในแต่ละแผนก
โดยสร้างคู่ค่าคีย์ โดยคู่ค่าคีย์ (Key-Value) นีจะเป็นอินพุตของ Reduce Function ซึง Reduce
Function จะรวมแต่ละแผนกและคํานวณจํานวนนักเรียนทังหมดในแต่ละแผนกและให้ผลลัพธ์
มีค่าตามตารางดังนี
Thinnaphat Borirak

33. Assignment 2
ให้ยกตัวอย่างการประมวลผลข้อมูลทีใช้หลักการของ MapReduce เพือวิเคราะห์ข้อมูล โดยแสดง
ออกมาในรูปของแผนภาพ ตังแต่การรับค่า Input / Splitting / Mapping / Shuffling / Reducing จน
ได้ผลลัพธ์ ในลักษณะ Key-Value
Answer:
Thinnaphat Borirak

34. Apache Project ของโปรแกรมในด้านอืนๆ ของ Hadoop
Thinnaphat Borirak

35. Thinnaphat Borirak

36. Hadoop มีวิธีจัดการกับ Big Data อย่างไร
Hadoop มีความสามารถในการรองรับปริมาณของข้อมูลทีมีจํานวน
มากได้ เนืองจาก Hadoop มี HDFS ทีสามารถรองรับไฟล์ขนาดใหญ่
แถมยังมี ecosystem ทีเอาไว้จัดการข้อมูลทีมีแนวโน้มจะเพิมมากขึน
อย่าง HBase หรือ Cassandra เป็นต้น
อัตราการเพิมของข้อมูลทีเพิมขึนอย่างรวดเร็ว ข้อมูลทีไหล
มาเป็น streaming หรือ ข้อมูลทีต้องจัดการแบบ real-time
Hadoop ก็มีเครืองมือเอาไว้จัดการกับสิงเหล่านี อย่างเช่น
Storm หรือ Kafka เป็นต้น
สามารถจัดการความหลากหลายของข้อมูลได้ด้วย HDFS ซึงรองรับไฟล์ทุกรูปแบบอยู่
แล้ว และถ้าพูดถึงข้อมูลทีไม่มีโครงสร้างหรือมีโครงสร้างทีปรับเปลียนได้ (เช่น XML
หรือ JSON) ก็สามารถจัดเก็บข้อมูลลักษณะนีได้ด้วยความสามารถของฐานข้อมูลแบบ
NoSQL อย่าง Cassandra
ส่วนความน่าเชือถือของข้อมูล ต้องใช้ความสามารถของผู้เชียวชาญ
หรือ data scientist หรือผู้ทีมีหน้าทีดูแลข้อมูลเพือเป็นคนจัดการ
หรือตัดสินใจได้ว่า ข้อมูลไหนเชือถือได้หรือเชือถือไม่ได้
คุณค่าทีได้จากข้อมูล หรือการทําข้อมูลให้เกิดคุณประโยชน์ต่อผู้ใช้ ซึง
จําเป็นต้องใช้ความรู้เรือง Machine Learning หรือ Data Mining เพือ
มาสร้างองค์ความรู้ใหม่ๆจากข้อมูลทีจัดเก็บไว้จํานวนมาก Hadoop
ก็ยังมี ecosystem ทีคอยอํานวยความสะดวกโดยมีเครืองมือหรือ
Library ทีจะมาช่วยสร้างโมเดลของ Machine Learning ไม่ว่าจะเป็น
Apache Mahout หรือ Spark MLlib (เป็น module ตัวหนึงใน
Apache Spark) ทีใช้สําหรับสร้างโมเดลดังกล่าว
Thinnaphat Borirak

37. Assignment 3
ให้ทําการระบุมาอย่างละ 3 ข้อว่าเมือไหร่ทีควรนํา Hadoop มาใช้ และเมือไหร่ทีไม่ควรนํา Hadoop มา
ใช้งาน
Answer:
เมือใดควรใช้ก็เพือการประมวลผลข้อมูลขนาดใหญ่จริงๆ สําหรับจัดเก็บข้อมูลชุดอุปกรณ์ สําหรับการ
ประมวลผลข้อมูลแบบคู่ขนาน
เมือใดทีไม่ควรใช้ Hadoop เพือการวิเคราะห์ข้อมูลแบบเรียลไทม์ สําหรับระบบฐานข้อมูลเชิงสัมพันธ์
สําหรับระบบไฟล์เครือข่ายทัวไป สําหรับการประมวลผลข้อมูลแบบไม่ขนาน
Thinnaphat Borirak

38. Workshop
3. LITERATURE REVIEW ON BIG DATA
WITH HADOOP
https://scholar.google.com/
1. Create a Group
2. Think of a Topic
Internet of Things for Human Healthcare Services and Data Analytics with Hadoop
Sentiment Analysis On Twitter Posts Using Hadoop
Thinnaphat Borirak

40. Thinnaphat Borirak