สมาคมศูนบ์วิชาการไทย-ออสเตรเลีย การอบรม รุ่นที่ 2

1. ETL Pentaho Data Integration อาจารย์เรืองศักดิ์ ตระกูลพุทธิรักษ์ ruangsak@swu.ac.th สาขาวิทยาการคอมพิวเตอร์ ภาควิชาคณิตศาสตร์ คณะวิทยาศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ

2. ETL stands for extract, transform and load a process in database usage and especially in data warehousing that involves: Extracting data from outside sources Transforming it to fit operational needs (which can include quality levels) Loading it into the end target (database or data warehouse)

3. Example

4. Input

5. Transform

6. Load

7. Hands-on Experience จำนวนนิสิตที่ลงทะเบียนในแต่ละรายวิชา

8. Demo

9. สร้างฐานข้อมูลไว้รองรับการทำงานของโปรแกรม Data Integration โดยในที่นี้ได้สร้างฐานข้อมูลชื่อ repository

10. เอาข้อมูลจากไหนมาทำ ETL ครับ ฐานข้อมูล course2550

11. สร้างฐานข้อมูลไว้เป็น input ของโจทย์ โดยในที่นี้จะสร้างฐานข้อมูลชื่อ course2550

12. ระบุชื่อฐานข้อมูล course2550กดปุ่ม Create

13. import

14. Browse

15. เลือกไฟล์ 02course2550_forETL.sql

18. เริ่มโปรแกรม Data Integration

19. Programs > Pentaho Enterprise Edition > Design Tools > Data Integration

20. สร้าง RepositoryConnection ขึ้นใหม่

28. เริ่มจริง...จริง แล้วนะครับ

29. เลือก Repository ที่ได้สร้างไว้ Login เพื่อเข้าสู่หน้าจอการทำงาน

30. File > New > Transformation

31. ใช้ข้อมูลจากไหน? แล้วทำอย่างไร?

32. File > New > Database Connection

33. เริ่มกระบวนการ ETL

34. Input > Table input

35. Double Click ที่ Table input แก้ชื่อ Table input> at_course_enrollmentคลิกปุ่ม Get SQL select statement…

36. เลือกตาราง at_course_enrollment

37. เพิ่ม ORDER BY course_id

38. Statistics > Group by กด Shift ค้างไว้และลากเม้าส์สร้างเส้นเชื่อมโยง

39. Double Click ที่ Group by กดปุ่ม Get Fieldsกดปุ่ม Get lookup fields

40. เพิ่ม Order By เพื่ออะไร?

41. ทำ Group by เพื่ออะไร? Aggregates / นับจำนวนผู้เรียน

42. Transform > Select valuesสร้างเส้นเชื่อมโยง

43. Double Click ที่ Select values กดปุ่ม Get fields to selectในช่อง Rename to เปลี่ยนชื่อ member_id เป็น num_enroll

44. Selected Value เพื่ออะไร? เปลี่ยนชื่อ Field

45. Input > Table input

46. Double Click ที่ Table input แก้ชื่อ Table input> at_coursesคลิกปุ่ม Get SQL select statement…

47. เลือกตาราง at_courses

48. เพิ่ม ORDER BY course_id

49. Joins > Merge Join ลากเส้นเชื่อมโยง

50. Double Click ที่ Merge Join กำหนดค่าต่างๆ กด Get key fields เพื่อเลือก Keys

51. เพิ่ม Order By เพื่ออะไร?

52. Transform > Select values สร้างเส้นเชื่อมโยง

53. Double Click ที่ Select values 2 แถบเมนู Remove ช่อง Fieldname ให้ใส่ course_id_1ที่ต้องการลบทิ้ง

54. Selected Value 2เพื่ออะไร? ลบ Field ที่ไม่ต้องการ

55. Output > Table outputสร้างเส้นเชื่อมโยง

56. ผลลัพธ์เอาไว้ที่ไหน ? ตาราง o_course ฐานข้อมูล course2550

57. Double Click ที่ Table outputกดปุ่ม Browse ที่ Target Tableสร้างตารางใหม่ขึ้นมาชื่อว่า o_course

58. คลิกขวาตาราง at_courses (ใกล้เคียง)DDL > Use Current Connection

59. เปลี่ยนคำสั่ง SQLกดปุ่ม Execute

60. Refreshเลือกตาราง o_course

61. เลือกช่อง Truncate table กดปุ่ม OK

63. Action > Run กดปุ่ม Launch

64. Save

65. หากไม่มีข้อผิดพลาดใดๆ

66. เข้าไปดูฐานข้อมูล MySQL ในตาราง o_course

67. ลองดู feature อื่นๆเล็กน้อย ครับ

68. Excel Output

71. Google Docs

72. Promotion…..Free – Buy 1 Get 1 !!! โจทย์ เรยา : ช่วยทำข้อมูลรายวิชาแยกตามคณะ ลงไฟล์ Excel ให้ฉันหน่อยนะ คุณชายใหญ่ : เดี๋ยวปรึกษาหม่าม้า Pentaho ก่อนนะ เรยา : ถ้าทำส่งให้ทุกเดือนได้ ฉันจะไม่มากวนใจ คุณชายใหญ่ที่บ้านคุณดี๋อีกเลยนะ

74. ข้อมูลอยู่คนละฐานข้อมูล ควรทำอย่างไร

75. File > New > Database Connection

76. Input > Table input

77. Double Click ที่ Table input แก้ชื่อ Table input> course_factคลิกปุ่ม Get SQL select statement…

78. เลือกตาราง course_fact

79. เพิ่ม ORDER BY course_id

80. Joins > Merge Join ลากเส้นเชื่อมโยง

81. Double Click ที่ Merge Join กำหนดค่าต่างๆ กด Get key fields เพื่อเลือก Keys

82. Transform > Select values สร้างเส้นเชื่อมโยง

83. Double Click ที่ Select values 3 แถบเมนู Select & Alterช่อง Fieldname ให้เลือกเฉพาะ field ที่ต้องการ

84. Flow > Switch / Case สร้างเส้นเชื่อมโยง

85. Double Click ที่ Switch / Caseช่อง Filed name to switch > fac_idช่อง Case value data type > BigNumberช่อง ใส่ค่า 100 200

86. Output > Excel Outputสร้างเส้นเชื่อมโยงเลือก The case target for value ‘100’

87. Step name > ScienceBrowse… > science.xlsExtension > ลบ xls ออก

88. Output > Excel Outputสร้างเส้นเชื่อมโยงเลือก The case target for value ‘200’

89. Step name > HumanitiesBrowse… > humanities.xlsExtension > ลบ xls ออก

90. Output > Excel Outputสร้างเส้นเชื่อมโยงเลือก The default target step

91. Step name > OtherBrowse… > other.xlsExtension > ลบ xls ออก