Download to read offline
Text generation from deep learning and others
- 1. เจ้าของผลงาน: รศ.ดร.พรฤดี เนติโสภากุล นส.อุษนิษา เถาว์โท การสร้างข้อความด้วยการเรียนรู้เชิงลึก (Text Generation using Deep Learning) King Mongkut’s Institute of Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY ห้องปฏิบัติการวิจัย: Knowledge Management and Knowledge Engineering
- 2. การสร้างข้อความด้วยการเรียนรู้เชิงลึก (Text Generation usingDeep Learning) • เป็นการเรียนรู้ของโครงข่ายประสาทเทียมเชิงลึก สองโครงข่าย ในสถาปัตยกรรมของ transformer • Encoder (understanding) BERT • Decoder (generation) GPT-2 • ในงานวิจัยนี้ มีวัตถุประสงค์เพื่อให้สามารถสร้าง ข้อความแบบอัตโนมัติ โดยฝึกสอนเพิ่มเติมจาก โดเมนที่กาหนด เช่น • บทความให้ความรู้ด้านสมุนไพร • บทสนทนาการวินิจฉัยทางการแพทย์ King Mongkut’s Institute of Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY
- 3. King Mongkut’s Instituteof Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY การปรับปรุงโมเดล (Model Fine-tuning) เพื่อสร้างข้อความระดับวรรคตอน (Paragraph Generation) BERT GPT-2
- 4. King Mongkut’s Instituteof Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY โครงสร้างภายใน deep learning model ในการสร้างประโยค ประกอบด้วย 2 โมเดลได้แก่ • GPT-2 สาหรับการสร้างข้อความให้อยู่ ในระดับประโยค • BERT สาหรับทานายว่าประโยค 2 ประโยคนั้นเป็นประโยคที่ต่อ กันหรือไม่ เพื่อการตัดสินใจใน การต่อประโยค
- 5. การสร้างบทความให้ความรู้ด้านสมุนไพรไทย King Mongkut’s Instituteof Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY
- 6. King Mongkut’s Instituteof Technology Ladkrabang FACULTY OF INFORMATION TECHNOLOGY การสร้างบทสนทนาเพื่อวินิจฉัยโรคเบื้องต้น (DocSim) ระบบ DOCSIM สนทนากับผู้ป่วยเพื่อ กรองอาการและให้คาวินิจฉัยโรค เบื้องต้น โดยคาดว่าการสนทนาที่สร้าง จากการเรียนรู้เชิงลึกอาจจะทาให้เป็น ธรรมชาติมากขึ้น
Editor's Notes
- #4 BERT fine-tuning Input = any sentence A & sentence B in corpus Output = B is the next sentence of A, True or False? GPT fine-tuning Input = previous sequence of word in each sentence Output = next word