Regular expression and thai language.

1. Regular Expression
กับ ภาษาไทย
กรกฎ เชาวะวณิช
Senior Data Scientist
True Digital Group
Thai NLP Meetup #4

2. Regular Expression (regex)
• เป็น pattern ไว้ประมวลผล text
• match = ตรวจว่าป้อน email ถูกไหม
• search, findall = ค้นเอกสาร หาข้อความแปลกๆ
• replace = ค้น แล้วแทนที่ (sub) หรือลบทิ้ง
• split = ค้น แล้วใช้เป็นตัวตัด ให้เป็นก้อนๆ

3. องค์ประกอบหลัก
• a, X, 9, ก ตัวมันเอง
• . (จุด) อักษรทุกตัว เว้น n
• w อักษรในคำ a-z, A-Z, 0-9
• s space,tnrf ตรงข้าม S
• d digit = [0-9] บอกกลุ่ม
• [^0-9] กลุ่มตรงข้าม
• + 1 หรือมากกว่า
• * 0 หรือมากกว่า
• ? 0 หรือ 1
• +?, *? เอาสั้นๆ
• {2} {2,} {2,5} {,5}
ตัวอะไร กี่ตัว
wwd{5}AZ10220

4. ตัวพิเศษ
• ^ เริ่มต้นบรรทัด
• $ จบเนื้อหา b เริ่มหรือจบคำ
• ใช้นำอักษรพิเศษ เช่น . จะจุดธรรมดา คือ slash
• ( ) ใช้เก็บเนื้อหา เพื่อดึงออกไปใช้ หรือ ไปแทนที่
• | = หรือ เช่น cat|dog อาจต้องใช้วงเล็บช่วย

5. Advanced
• non-capture (?:cat|dog)
• look ahead (?=xxx) (?!xxx)
• look behind (?<=xxx) (?<!xxx)
• named group (?P<ชื่อ>เนื้อหา)
• flags (?aiLmsux) เช่น (?s) (?x) เหมือน re.S, re.X
• ต้องเปิด manual ทุกที
• ใน python มีตัวที่เก่งกว่า re ชื่อ regex

6. Thai Unicode Table
• ก = 0E01
• ๙ = 0E59 ๛ = 0E5B โคมูตร
• [ก-๙] ตัวอักษรไทย
• สระ [ะ-ไ]
• สระหน้า [เ-ไ]
• กลุ่มวรรณยุกต์ลอย [็่้๊๋์ํ]

7. ตัวอย่าง

8. อักษรไทยล้วน
• text = “สวัสดี ชาวโลก”
• pat = r“^[ก-๙]+$” # เป็นตัวไทยหมดไหม?
• re.match(pat, text) # True or False ?

9. Thai Normalization

10. • 1 คือ ย้าย วรรณยุกต์ ที่อยู่แทรก ไปไว้หน้า และรวม อำ ด้วย
• 2 คือ ย้าย วรรณยุกต์ ที่อยู่หลัง ไปไว้หน้า

11. Thai Sort

12. ลบ space ของการตัดคำ

13. ตัวอย่างอื่นๆ
• Soundex
• TCC (Thai Character Cluster)
• งาน clean data จำนวนมาก
• pattern สะกดคำผิด = spell correct

15. ขอบคุณ