My First Data Science Project (using Rapid Miner)

Introduction to Text Mining
(data)3 
base|warehouse|mining
http://www.dataminingtrend.com 
http://facebook.com/datacube.th
Eakasit Pacharawongsakda, Ph.D.
Co-founder of Data Cube & Certiﬁed RapidMiner Analyst
facebook.com/datacube.th

(data)3 
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6
• ติดตั้ง text mining plugin ลงใน RapidMiner Studio 6
• เลือกเมนู Help > Marketplace (Updates and Extensions)…
2
1

(data)3 
• ค้นหา plugin ที่ชื่อว่า text processing
3
2
4
3
5

(data)3 
• เลือก I accept terms of all license agreements.
4
6

(data)3 
• RapidMiner Studio 6 จะทำการดาวน์โหลด plugin และติดตั้งให้
5

(data)3 
• หลังจากติดตั้งเสร็จแล้วจะให้ทำการ restart RapidMiner Studio 6
6
7
สัญลักษณ์ของ text
mining plugin

(data)3 
Search Twitter
• ดึงข้อมูลจาก Twitter โดยใช้โอเปอเรเตอร์ Search Twitter
7
1
3
2
4

(data)3 
Search Twitter
• สร้าง Connection ใหม่สำหรับดึงข้อมูลจาก Twitter
8
5
6

(data)3 
Search Twitter
• Connection ใหม่จะถูกสร้างขึ้นมาด้านซ้ายมือ
• สร้าง access token ใหม่
9
7

(data)3 
Search Twitter
• คลิกที่่ปุ่ม Request access token
10
8

(data)3 
Search Twitter
• คลิกที่ปุ่ม Authorize app
11
9

(data)3 
Search Twitter
• copy หมายเลข PIN ที่แสดงอยู่และนำไปใส่ใน RapidMiner Studio 6
12
10

(data)3 
Search Twitter
• paste ตัวเลข PIN ลงในช่อง Copy Code
13
11
12

(data)3 
Search Twitter
• คลิกที่ปุ่ม Save all changes
14
13

(data)3 
Search Twitter
• ใส่ keyword ที่ต้องการค้นหา เช่น ซีเกมส์ ในพารามิเตอร์ query
15
14

(data)3 
Search Twitter
• ผลการค้นหาใน Twitter
16

(data)3 
Example: Amazon coffee?
• ตัวอย่างข้อมูลจาก Data Science Thailand meetup #1
• ข้อมูลจาก Twitter แบ่งเป็น 2 ประเภท (class)
• Tweet ที่เกี่ยวข้องกับร้านกาแฟ Amazon
• Tweet อื่นๆ ที่ไม่ได้หมายถึงร้านกาแฟ Amazon อาจจะเป็นเว็บไซต์ amazon.com
17

(data)3 
Text Mining Example
• ภาพรวมของ Process ที่สร้างขึ้น
18

(data)3 
• โอเปอเรเตอร์ที่เกี่ยวข้อง
19
โอเปอเรเตอร์ คำอธิบาย
Read CSV
ใช้สำหรับอ่านไฟล์ประเภท CSV มาใช้งาน ในตัวอย่าง Process นี้
อ่านไฟล์ training data มาใช้งาน
Read Excel
ใช้สำหรับอ่านไฟล์ประเภท Excel มาใช้งาน ในตัวอย่าง Process
นี้อ่านไฟล์ testing data มาใช้งาน
Naive Bayes
ใช้สำหรับสร้างโมเดล Naive Bayes เพื่อ classify ข้อมูลออกเป็น
Amazon หรือ Other
Apply Model
ใช้สำหรับนำโมเดล (classiﬁcation model) ไปทำนาย (predict)
ข้อมูลใหม่

(data)3 
20
Performance ใช้สำหรับวัดประสิทธิภาพของโมเดลที่สร้างขึ้นมา
Validation ใช้สำหรับแบ่งข้อมูลและทำการทดสอบแบบ cross-validation
Process Documents from
Data
ใช้สำหรับสำหรับจัดการข้อความ (text) ที่อ่านได้จากไฟล์
Tokenize ใช้สำหรับตัดคำออกเป็นคำศัพท์ต่างๆ

(data)3 
21
Filter Tokens  
by Length
ใช้สำหรับกรองคำศัพท์ (token) ที่มีค่าน้อยกว่าหรือมากกว่าที่
กำหนด
Stem (Porter)
ใช้สำหรับแปลงคำศัพท์ให้อยู่ในรูปของรากศัพท์ภาษาอังกฤษ
(root)
Filter Stopwords 
(English)
ใช้สำหรับตัดคำเชื่อมหรือคำที่ไม่จำเป็นทิ้ง

(data)3 
• โหลดข้อมูล twitter.csv ด้วยโอเปอเรเตอร์ Read CSV
22
1
1
2
3

(data)3 
• เลือกไฟล์ twitter.csv
23
4
5

(data)3 
• เปลี่ยน File Encoding เป็น UTF-8 และเลือก Comma “,”
24
6
7
8

(data)3 
• คลิกที่ Next ได้เลยครับ
25
9

(data)3 
• เปลี่ยนแอตทริบิวต์ Class ให้เป็น label และ Tweet เป็น text
26
10
11
12

(data)3 
• เพิ่มโอเปอเรเตอร์ Process Document from Data เพื่อทำ preprocess ข้อมูล text
• เลือก vector creation เป็นแบบ TF-IDF
• เลือก prune method เป็น percentual เพื่อ prune คำระหว่าง 3% - 30%
27
13
14
15

(data)3 
• double click ที่โอเปอเรเตอร์ Process Document from Data
• เพิ่มโอเปอเรเตอร์ Tokenize เพื่อตัดคำ และต่อ port doc เข้ากับ Tokenize
28
16

(data)3 
• เพิ่มโอเปอเรเตอร์ Stem (Porter) เพื่อทำ stemming (แปลงข้อมูล 
ให้เป็น root)
• ต่อ port จาก Tokenize ไปยัง Stem (Porter)
29
16 17

(data)3 
• เพิ่มโอเปอเรเตอร์ Filter Tokens (by Length) เพื่อลบคำที่สั้นหรือ 
ยาวเกินไป
• ต่อ port จาก Stem (Porter) ไปยัง Filter Tokens (by Length)
30
18

(data)3 
• เพิ่มโอเปอเรเตอร์ Filter Stopwords เพื่อลบคำที่เป็น stopword ทิ้ง
• ต่อ port จาก Filter Tokens (by Length) ไปยัง Filter Stopwords
31
19

(data)3 
• ผลการทำงานจะตัดคำต่างๆ ออกมาได้ พร้อมทั้งความถี่ของคำต่างๆ
32

(data)3 
• ผลการทำงานแสดงข้อมูลในรูปแบบตาราง โดยมีคำต่างๆ เป็น
แอตทริบิวต์
33

(data)3 
• คลิกขวาในส่วน Main Process และเลือกเมนู Insert Building Block
และเลือกเมนู Nominal X-Validation
• ต่อพอร์ต mod และ ave ของโอเปอเรเตอร์ X-Validation ไปยัง res
34
20
21
22

(data)3 
• double click ที่โอเปอเรเตอร์ X-Validation
• เปลี่ยนโอเปอเรเตอร์จาก Decision Tree เป็น Naive Bayes แทน
35
23

(data)3 
• กดปุ่ม Run เพื่อดูผลการทดสอบประสิทธิภาพของโมเดล
36

(data)3 
• โมเดล NaiveBayes ที่สร้างได้
37

(data)3 
• หลังจากสร้างโมเดลและวัดประสิทธิภาพได้เรียบร้อยแล้ว ขั้นตอนถัดมาจะเป็นการนำโมเดล
ไปใช้งาน
• ใช้โอเปอเรเตอร์ Read Excel เพื่ออ่านไฟล์ทดสอบที่อยู่ในรูปแบบ Excel
38
24

(data)3 
• เปลี่ยนแอตทริบิวต์ prediction (Label) ให้เป็น label และ Tweet เป็น text
39
25
26
27

(data)3 
• copy โอเปอเรเตอร์ Process Documents from Data มาต่อกับ Read Excel  
และต่อพอร์ต wor มาต่อกับโอเปอเรเตอร์ Process Documents from Data
40
28
29

(data)3 
• เพิ่มโอเปอเรเตอร์ Apply Model เพื่อนำโมเดลไป predict ข้อมูลใหม่
41
30

(data)3 
• กดปุ่ม Run เพื่อดูผลการ predict
42
ผลการ predict

My First Data Science Project (using Rapid Miner)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (19)

Similar to My First Data Science Project (using Rapid Miner)

Similar to My First Data Science Project (using Rapid Miner) (17)

More from Data Science Thailand

More from Data Science Thailand (20)

My First Data Science Project (using Rapid Miner)