Big Data Tools on Microsoft Azure

1. Thinnaphat Borirak
WORKSHOP
BIG DATA ANALYTIC TOOLS ON MICROSOFT AZURE
Hadoop migration to Azure

2. WORKSHOP: Create Resource Groups with Azure subscription
Example:
ลูกค้าต้องการสร้างเว็บไซต์ของบริษัท NSA โดยมี โดเมนชือ nsa.com ซึงมาให้ผมพัฒนาเว็บไซต์ดังกล่าวเพือขายอุปกรณ์คอมพิวเตอร์ แล้วก็ขอให้ระบบนันมี
การตอบคําถามอัตโนมัติ (Chat Bot) ผมก็จะทําการสร้าง Resource Group ของบริษัท NSA เอาไว้ เพือบอกว่าไฟล์งานทีเกียวข้องทังหมดของบริษัทฯ จะอยู่ใน
Directory นี
แล้วพอมีบริษัท ThaiIOT มาจ้างผมทําการจัดเก็บข้อมูลจากอุปกรณ์ IoT เพือนํามาวิเคราะห์ข้อมูลภายในบริษัทฯ ผมก็จําเป็นทีจะต้องสร้างโดเมน iot.co.th โดย
มี Resource Group ของบริษัท ThaiIOT มา เพือบอกว่างานของบริษัท ThaiIOT ทังหมดอยู่ใน Resource Group เช่นกัน
วัตถุประสงค์ การใช้งาน Resource Group จะเหมือนกับเราสร้าง Directory ในเครือง
คอมพิวเตอร์เพือนํามาใช้งาน อาทิเช่น กรณีทีต้องการพัฒนาโปรแกรมสักอย่างนึง เราก็จะ
ไปสร้าง Project Directory ซึงภายใต้กลุ่มของ Directory ก็ไว้ใช้ทีทําหน้าทีรวบรวมไฟล์ต่างๆ
ทีเกียวข้อง เพือเอาไว้บริหารจัดการ หรือแบ่งแยกโปรเจคออกเป็นเรืองๆ
โดย Microsoft Azure จะเรียกกระบวนการนีว่า Resource Group นันเอง
1
Thinnaphat Borirak

3. https://azure.microsoft.com/en-us

4. https://portal.azure.com/#home

8. Example: Azure subscription 50177004-XX
XX: คือรหัสลําดับที

10. Example: hdfs-50177004-XX
XX: คือรหัสลําดับที

11. https://learn.microsoft.com/en-us/azure/azure-resource-manager/management/tag-resources?tabs=json
Example:
Properties :
Name Value
Status Normal
Dept Finance
Team Compliance
Environment Production

21. WORKSHOP: Building Data On Microsoft Azure
Data Warehouse / Data Mart / Data Lake
รวบรวมข้อมูลมาเก็บไว้ทีส่วนกลาง แล้วนําไปทํา Visualization
Data Warehouse คือทีเก็บขนาดใหญ่สําหรับข้อมูลทีมีโครงสร้างชัดเจนจากหลายแหล่ง
(สามารถเก็บข้อมูลกึงโครงสร้างได้ใน Data Warehouse ทีแอดวานซ์) มารวมกันไว้ โดยที
บริษัทขนาดกลางไปจนถึงขนาดใหญ่มักจะมีไว้ใช้ในการแชร์ข้อมูลระหว่างทีม หรือระหว่าง
แผนก นักวิเคราะห์ธุรกิจ (Business Analyst) สามารถดึง insight ออกมา ทําเป็นรายงาน
ไว้สําหรับการตัดสินใจด้านธุรกิจของฝังบริหาร เรียกได้ว่าเป็นแกนหลักสําหรับการวิเคราะห์
ข้อมูล
Data Lake คือทีเก็บขนาดใหญ่ทีสามารถเก็บข้อมูลได้ทุกรูปแบบจาก
หลายแหล่งโดยทีไม่ต้องมีการแปลงข้อมูลก่อน พูดให้เข้าใจง่ายๆ ก็คือ
สามารถเก็บข้อมูลดิบได้ ตังแต่ข้อมูลทีมีโครงสร้างชัดเจน (Structured
Data) ข้อมูลกึงโครงสร้าง (Semi-Structured Data) และข้อมูลทีไม่มี
โครงสร้างแน่นอน (Unstructured Data)
Azure Data Lake Storage Amazon S3
Amazon Redshift
Snowflake Elastic
Data Warehouse
Data Mart คือ ระบบพืนทีเก็บข้อมูลทีมีข้อมูลเฉพาะสําหรับหน่วยธุรกิจของ
องค์กร ประกอบด้วยข้อมูลเล็กๆ ทีเลือกไว้บางส่วนทีบริษัทจัดเก็บไว้ในระบบ
จัดเก็บข้อมูลขนาดใหญ่ บริษัทต่างๆ ใช้ Data Mart เพือวิเคราะห์ข้อมูลเฉพาะ
แผนกได้อย่างมีประสิทธิภาพมากขึน โดยให้ข้อมูลสรุปทีผู้มีส่วนได้ส่วนเสีย
หลักสามารถใช้เพือตัดสินใจได้อย่างรวดเร็ว
2
Thinnaphat Borirak

44. WORKSHOP: Run SQL Server on Azure SQL
https://www.microsoft.com/en-us/sql-server/sql-server-downloads
https://portal.azure.com/#home
3
Thinnaphat Borirak

84. WORKSHOP: Visualization AdventureWorksLT on Power BI from SQL Database in Microsoft Azure
Power BI เป็นผลิตภัณฑ์ซอฟต์แวร์การแสดงภาพข้อมูลเชิงโต้ตอบทีพัฒนาโดย
Microsoft โดยเน้นทีข่าวกรองธุรกิจเป็นหลัก เป็นส่วนหนึงของ Microsoft Power
Platform
AdventureWorks Database คือตัวอย่างผลิตภัณฑ์ของ Microsoft สําหรับฐานข้อมูล
การประมวลผลธุรกรรมออนไลน์ (Online Transaction Processing: OLTP)
ฐานข้อมูล AdventureWorks สนับสนุนบริษัทผู้ผลิตข้ามชาติทีสมมติขึนชือว่า
Adventure Works Cycles
https://reportingengineer.com/2020/10/21/summary-misunderstand-powerbi/
4
Thinnaphat Borirak

106. WORKSHOP: Create Azure HDInsight ?
Data warehousing
You can use HDInsight to perform interactive queries at petabyte scales over structured or unstructured data in any format. You can also
build models connecting them to BI tools.
Internet of Things (IoT)
You can use HDInsight to process streaming data that's received in real time from different kinds of devices
Azure HDInsight เป็นบริการวิเคราะห์โอเพ่นซอร์สทีมีการจัดการเต็มรูปแบบ
สเปกตรัมในระบบคลาวด์สําหรับองค์กร โดย HDInsight ทีทํางานบน Azure
สามารถใช้เฟรมเวิร์กโอเพ่นซอร์ส เช่น Apache Spark, Apache Hive, LLAP-
Live Long and Process, Apache Kafka, Hadoop และอืนๆ ใน Account ของ
พวกคุณได้
https://learn.microsoft.com/en-us/azure/hdinsight/hdinsight-overview
5
Thinnaphat Borirak

107. Before Installation HDInsight Clusters. Your Can Check Resource providers in Subscriptions

112. Go to Home

125. Because Create HDInsight cluster
Requesting quota increases for Azure HDInsight

129. Thinnaphat Borirak