1. Tone Practice for Hearing Deficiency Program

2. Members Kamolpan Tawitsri No.1 Class 6/4 Tipbapah Pisithkul No.4 Class 6/4 Roykrong Sukkerd No.6 Class 6/4 Adviser Mrs.Siripon Boonplianpol

3. There are tonal languages around the world such as Red Indian in North and South America, Swedish and Norwegian in Europe, Bantu, Myanmar and Thai in Asia. The Thai language has four tone marks and five tonemes, the low, the falling, the mid, the high and the rising. The advantage of having tones is the existence of many words; different tones give the words different meanings. So it is necessary to utter the word with the tone correctly. This project was created with the purpose of studying the tone recognition by using F0 contours as the indicators, and advancing the Thai tone practicing program. Abstract

4. key words: tone, tone recognition, F0 contour, average F0 contour The program can be separated into 2 parts, Thai tone practicing for common persons (especially the foreigners) and Thai tone practicing for the hearing deficient persons. The program uses the tone recognition for checking the users’ utterances. When the voice of a program user is inputted, the fundamental frequency of the voice will be analyzed by the program. Then, the program will calculate the coefficients in the polynomial equations that fit the F0 contour. After we have the coefficients in matrix [B], the program will calculate the standard deviation, Baverage and Z-score of [B]. Outputs of the program are the user’s F0 contour compared with the average F0 model, tonal accuracy and degree of loudness.

5. Introduction Thai is a tonal language. There are five tonemes in Thai, the mid, the low, the falling, the high and the rising. The feature of spee ch, u sed to classify the ton e, is the shape of fundamental frequency (F0) contour, shown in Figure 1. Figure 1 : Average F0 contours of the five Thai tones produced in isolation by a male speaker [3].

6. Fundamental statistics and mathematics are required for understanding the algorithms of the program; average, standard deviation and Z-score . Average ; N is the number of matrix B Standard Deviation Z-score

7. Purpose 1. To study the tone recognition system by using fundamental frequency contour as the indicator 2. To advance the tone practice for hearing deficiency program

8. Limits This program is efficient in a quiet place and the words which are used in practicing are monosyllabic and have long vowels. If the program user is not the congenital deaf, he would have a greater probability to succeed following the method of the program.

9. Sampling We will ask for cooperation from 50 MWIT students (25 males and 25 females) to record their voices. Each student records 15 voice clips, 3 clips per each Thai tone. While we are recording the voices, Thai teacher of MWIT advises the students to utter Thai tones correctly.

10. Tone Practice Use the algorithms of tone recognition to check whether the speaker’s tone is correct

11. Recognition Method F0 Feature Extraction Classification Algorithms

12. F0 Feature Extraction 1.1 F0 smoothing and segmentation procedure 1.2 Polynomial regression

13. Tone Feature: curve of F0 changing (F0 contour) Identity of curve: the coefficient of polynomial that fits the F0 contour Objective: to determine the coefficients of a polynomial that fit the F 0 contour

14. 1.1 F0 smoothing and segmentation procedure smoothing procedure using median filtering fragment the signal into many frames of length 30 ms (each frame overlaps 10 ms) and extract pitch from each frame using FFT

15. determine the beginning and the ending frame of the longest time where the value of F0 in each frame does not differ from the neighboring frame more than ΔF max = 17 Hz

16. 1.2 Polynomial regression determine the coefficients b k of a polynomial that fit the segmented F0 contour Let F = be a sequence of segmented F0 of length L Let = be an estimated vector of F is the coefficient of (d-1)-order polynomial regression function …… .(1) where t i = i/L is a normalized time with respect to F i

17. Equation (1) can be expressed in matrix form as ……… .(2)

18. Create a model for each tone by using Gaussian Distribution, find the arithmetic mean and standard deviation of B |w j Null Hypothesis H 0 : The test voice is tone w j . 2. Classification Algorithms

19. Determine the critical value by the level of significance  Reject the H 0 when Let  be the feature vector of the test voice Calculate the Z-score of  Check Z with the H 0

20. Loudness measurement The program will calculate the loudness of voice (input) in degree of decibel automatically by Praat, show the curve of intensity of input voice depending on time and show the threshold of speaking. Sensitivity of Human Ear Typical power values of speech sources : 􀂉 Whispered speech 30 dB 􀂉 Average for speech 70 dB 􀂉 Loud speech 83 dB 􀂉 Shouted speech 90 dB

21.   F0 Feature Extraction Tone checking Loudness control Tone Practice Loudness Measurement Tone accuracy Level of speech

22. Conclusion The system for monosyllabic Thai tone recognition has been proposed in this paper . We used the coefficient of polynomial regression function as a feature vector of the segmented F 0 contour. In the training phase, we will separate gender and tones into each case. After solving matrix equations we will have many of matrix B. Then, use fundamental statistics to find , S.D. and Z-score. The program will check Z-score of input with H0 by using the critical value in Gaussian Distribution. Figure3 : Block diagram of system

23. References Tabtong N. and Kitsirikul B., Support Vector Machines for Thai Phoneme Recognition , Machine Intelligence & Knowledge Discovery Laboratory Department of Computer Engineering, Chulalongkorn University Bangkok, International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems : Vol. 9, No. 6 (2001) 803—813. Wattanapong P. and Sukanek S., Continuous Thai Tone Recognition using Tri-Half-Tone Hidden Markov Model ( 2547 ), Available online: https://pindex.ku.ac.th/file_research/g 4365034 kufair.pdf Least square method ( 2002 ), Available online: labnet.sci.ku.ac.th/course_web/computa/4_3LeastSq-2.doc. Jittapankul S., F0 Feature Extraction by Polynomial Regression Function for Monosyllabic Thai Tone Recognition, Digital Signal Processing Research Laboratory, Department of Electrical Engineering, Faculty of Engineering, Chulalongkorn University.

24. Example Program

25. ยินดีต้อนรับทุกท่านเข้าสู่ โปรแกรมฝึกออกเสียงวรรณยุกต์ W elcome to A pplication for H earing D eficiency สำหรับผู้ที่มีความบกพร่องทางการได้ยิน เข้าสู่โปรแกรม ออกจากโปรแกรม

26. กรุณาเลือกเพศ ชาย หญิง

27. บทนำ วิธีการใช้โปรแกรม เริ่มการฝึกออกเสียง แบบทดสอบ เกี่ยวกับโปรแกรม กลับ ออก

28. บทนำ โปรแกรมฝึกออกเสียงวรรณยุกต์สำหรับผู้ที่มีความบกพร่องทางการได้ยินนี้ เป็นโปรแกรมสำหรับการเรียนรู้ด้วยตนเอง โดยศึกษาจากกราฟและค่าความใกล้เคียงเสียงมาตรฐาน เสียงมาตรฐานในที่นี้ฏ็คือเสียงจากบุคคลปกติที่สามารถออกเสียงได้ชัดเจนตามหลักภาษาไทยจำนวน 100 คน ทั้งนี้ผู้ใช้โปรแกรมสามารถทำแบบทดสอบเพื่อประเมินตนเองและสามารถบันทึกการออกเสียงหรือการทดสอบไว้เพื่อดูพัฒนาการออกเสียงของตน กลับ ออก

29. เมื่อต่อไมโครโฟนเข้ากับคอมพิวเตอร์แล้ว คุณสามารถเลือกเพศและ เสียงวรรณยุกต์ที่ต้องการฝึกได้ทั้งหมด 5 เสียง ได้แก่ สามัญ เอก โท ตรีและจัตวา เมื่อเลือกเสียงวรรณยุกต์ที่ต้องการได้แล้ว ให้คุณกด ” อัดเสียง ” แล้วออกเสียงพยางค์ใดพยางค์หนึ่งในวรรณยุกต์ที่ประสมด้วยสระเสียงยาวเพียงพยางค์เดียวและกด “ เสร็จสิ้นการอัดเสียง ” เมื่อออกเสียงจบแล้ว กด ” แสดงผล ” เพื่อให้โปรแกรมแสดงผลการออกเสียงของคุณ กด “ บันทึก ” หากต้องการบันทึกผลการออกเสียงของคุณ เพื่อดูพัฒนาการในการออกเสียง วิธีการใช้โปรแกรม กลับ ออก

30. เลือกเสียงวรรณยุกต์ที่ต้องการ สามัญ เอก จัตวา ตรี โท ฝึกออกเสียง กลับ ออก

31. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  กราฟแสดงการออกเสียงวรรณยุกต์ เสียงมาตรฐาน ฝึกเสียงอื่นๆ

32. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  ฝึกเสียงอื่นๆ

33.  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  คลิกปุ่มแสดงผล เพื่อดูผลที่ได้ ฝึกออกเสียง “ สามัญ ” ฝึกเสียงอื่นๆ

34. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  กราฟแสดงการออกเสียงวรรณยุกต์ เสียงของคุณ เสียงมาตรฐาน ค่าความใกล้เคียงเทียบกับเสียงมาตรฐาน 55.66 % ระดับความดังเสียงเฉลี่ย 50 เดซิเบล ฝึกเสียงอื่นๆ

35. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  ฝึกเสียงอื่นๆ กราฟแสดงการออกเสียงวรรณยุกต์ เสียงของคุณ เสียงมาตรฐาน ค่าความใกล้เคียงเทียบกับเสียงมาตรฐาน 55.66 % ระดับความดังเสียงเฉลี่ย 50 เดซิเบล

36. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  กราฟแสดงการออกเสียงวรรณยุกต์ เสียงของคุณ เสียงมาตรฐาน ค่าความใกล้เคียงเทียบกับเสียงมาตรฐาน 55.66 % ระดับความดังเสียงเฉลี่ย 50 เดซิเบล ฝึกเสียงอื่นๆ

37. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  กราฟแสดงการออกเสียงวรรณยุกต์ เสียงของคุณ เสียงมาตรฐาน ค่าความใกล้เคียงเทียบกับเสียงมาตรฐาน 55.66 % ระดับความดังเสียงเฉลี่ย 50 เดซิเบล ฝึกเสียงอื่นๆ  กา

38. ฝึกออกเสียง “ สามัญ ”  ... อัดเสียง เสร็จสิ้นการอัดเสียง แสดงผล  บันทึกผล  ดูผลการออกเสียง ที่ผ่านมา  กราฟแสดงการออกเสียงวรรณยุกต์ เสียงของคุณ เสียงมาตรฐาน ค่าความใกล้เคียงเทียบกับเสียงมาตรฐาน 55.66 % ระดับความดังเสียงเฉลี่ย 50 เดซิเบล ฝึกเสียงอื่นๆ ชื่อแฟ้ม .... กา

39. แบบทดสอบ กติกาในการทดสอบ  กด “ เริ่มทำแบบทดสอบ ” โปรแกรมจะแสดงโจทย์มาให้เป็นคำ 1 พยางค์  กด “ อัดเสียง ” แล้วออกเสียงพยางค์นั้น และกด เสร็จสิ้นการอัดเสียง เมื่อออกเสียงเสร็จ  คะแนนจะปรากฏทางด้านขวามือของหน้าต่าง  กด “ ต่อไป ” เพื่อทำแบบทดสอบข้อต่อไป  หากต้องการบันทึกคะแนนบททดสอบ กด “ บันทึก ”  ทำแบบทดสอบ คะแนนสูงสุด ÿ ออก

40. ทำแบบทดสอบ  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

41. ทำแบบทดสอบ 1.“ ป้อม ”  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

42. ทำแบบทดสอบ “ ป้อม ”  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

43. ทำแบบทดสอบ ข้อ 1 “ ป้อม ” ออกเสียงวรรณยุกต์ถูกต้อง คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

44. ทำแบบทดสอบ ข้อ 1 “ ป้อม ” ออกเสียงวรรณยุกต์ถูกต้อง คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง û เริ่มทำแบบทดสอบ ต่อไป  บันทึก  ออก

45. ทำแบบทดสอบ คุณ Manee คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง û เริ่มทำแบบทดสอบ ต่อไป  บันทึก  ออก

46. ทำแบบทดสอบ 2.“ จ๋า ”  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

47. ทำแบบทดสอบ “ จ๋า ”  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

48. ทำแบบทดสอบ ข้อ 2 “ จ๋า ” ออกเสียงวรรณยุกต์ผิด คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

49. ทำแบบทดสอบ ข้อ 1 “ ป้อม ” ออกเสียงวรรณยุกต์ถูกต้อง คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

50. ทำแบบทดสอบ คุณ Manee คะแนนรวม 1 คะแนน  ... อัดเสียง ÿ เสร็จสิ้นการอัดเสียง ต่อไป  บันทึก  û เริ่มทำแบบทดสอบ ออก

51. คะแนนสูงสุด คุณ Manee ได้ 1 คะแนน ออก