112年_艾鍗學院_數據分析暨機器學習應用班 組員：07施O廷、 08丁O紜、15鄭O文、17江O婷、19楊O役 專題網頁：https://bit.ly/3RTkyMc 艾鍗官網：https://bit.ly/3ESwHdW 聯絡信箱：service@ittraining.com.tw <專題摘要> 我們目標是評估學生所摘要文章的能力。為實現這一目標，我們將建立一個專門的評估模型，評估學生在摘要文章的架構能力，同時也評估摘要所使用的語言清晰度、精確度和流暢度。 我們將運用多種AI技術和工具，包括自然語言處理(NLP)技術，並整合最新的NLP模型，如DebertaV3，來進一步提高模型的性能。 在模型訓練方面，我們選擇使用機器學習或深度學習方法，具體上取決於需求和數據的規模。機器學習算法如決策樹為基礎的Xgboost、Lightbgm等可以用於訓練迴歸模型。 最終，此工具將對教師和學習平台提供寶貴的工具，以評估學生學習理解程度，同時為學生提供即時反饋，幫助他們改進他們的寫作和摘要能力。這將有助於提高教育的效率。

1. 智慧英文評分系統
07施O廷 08丁O紜 15鄭O文 17江O婷 19楊O役

2. 大綱
• 動機＆目標
• 系統架構
• 實現方法 - 模型訓練
• 實現方法 - 系統介面

3. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
動機＆目標
Chapter 1

4. 動機
• 非選擇題批改不易＆費時
• 人工評分的標準不易維持
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

5. 目標
• 訓練評分模型，根據問題與作答預測分數
• 提供評分網頁介面，即時回饋作答狀況
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

6. 系統架構
Chapter 2
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

7. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

8. 實現方法 - 模型訓練
Chapter 3
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

9. 1 2
STEP
選擇適合語意組合與轉換
並結合數值迴歸預測的模型
ML & DL 模型
選擇、組合
3 4 5
STEP
包含資料清理、從原始
資料延伸新特徵
特徵工程
STEP
文章相關內容、實際學
生作答、教師評分結果
資料檢視
STEP
評估指標：MCRMSE
訓練、評估
預測結果
STEP
調整特徵、模型參數與
組合
優化模型
表現
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

10. prompt (共 4 篇文章)
• 4 欄位
⚬ prompt_id：文章編號
⚬ prompt_title：文章標題
⚬ prompt_text：文章內容
⚬ prompt_question：摘要目標
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 1 - 資料檢視

11. summaries (共 7165 位學生)
• 5 欄位
⚬ student_id：學生編號
⚬ prompt_id：摘要的文章編號
⚬ text：摘要內容
⚬ content：內容組織 (target 1)
⚬ wording：語意邏輯 (target 2)
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 1 - 資料檢視

12. 原特徵 延伸特徵
• 文章標題
• 摘要目標
• 文章內容
• 學生摘要內容
Content 相關：
• 文章字數
• 摘要字數
• 更正錯字後摘要
• 文章&摘要相似度
Wording 相關：
• 錯字數量
• 停用字
(stopwords)字數
• 文字豐富度
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
約20項
STEP 2 - 特徵工程

13. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
文章＆摘要相似度
• 以文章用字 (A)、摘要用字 (B) 的聯集、交集數量計算
• 數值愈高，相似程度愈高
文字豐富度
• 找出摘要中用了多少種單字
• 數值愈高，豐富程度愈高
STEP 2 - 特徵工程 e.g.

14. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
Embeddin
g
Feature
Engineeri
ng
Regress
or
Regress
or
原特徵
延伸特徵
STEP 3 - ML & DL 模型選擇、組合

15. STEP 3 - ML & DL 模型選擇、組合
Embedding Regressor Feature Filter
• BERT
• DeBERTaV3
• Random Forest
• XGBoosting
• CatBoosting
• LGBM
• Lasso
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

16. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
BERT
• 每個字
= Word(Segment) + Position
DeBERTa
• 每個字
= Word、Relative Position
• 輸出 Prediction 前加入 Absolute Position
STEP 3 - ML & DL 模型選擇、組合

17. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
原特徵 +
BERT
多特徵
+DeBERTaV3+LGBM
多特徵
+DeBERTaV3+LGBM+La
sso
多特徵
+DeBERTaV3+LGBM+XG
B+CAT
延伸特徵 + RF
STEP 3 - ML & DL 模型選擇、組合
Action 1 • 原特徵：
⚬ prompt_question
⚬ prompt_text
⚬ text
• BERT：
[CLS]+prompt_question+prompt_text+[SEP]+text

18. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 3 - ML & DL 模型選擇、組合
• 延伸特徵：
⚬ text_word_cnt
⚬ text_length
⚬ text_stopword_cnt
⚬ text_punct_cnt
⚬ text_number_cnt
• Regressor 模型：
RandomForestModel
原特徵 +
BERT
多特徵
+DeBERTaV3+LGBM
多特徵
+DeBERTaV3+LGBM+La
sso
多特徵
+DeBERTaV3+LGBM+XG
B+CAT
延伸特徵 +
RF
Action 2

19. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 3 - ML & DL 模型選擇、組合
• 多特徵：
⚬ prompt_length
⚬ summary_length
⚬ fixed_summary_text
⚬ spelling_err_num
⚬ length_ratio
⚬ bigram_overlap_count
⚬ bigram_overlap_ratio
⚬ trigram_overlap_count
⚬ trigram_overlap_ratio
⚬ quotes_count
• DeBERTaV3
• LGBM
原特徵 +
BERT
多特徵
+DeBERTaV3+LG
BM
多特徵
+DeBERTaV3+LGBM+La
sso
多特徵
+DeBERTaV3+LGBM+XG
B+CAT
延伸特徵 +
RF
Action 3

20. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 3 - ML & DL 模型選擇、組合
• 多特徵：
⚬ prompt_length
⚬ summary_leng
th
⚬ fixed_summar
y_text
⚬ spelling_err_n
um
⚬ length_ratio
⚬ bigram_overla
p_count
⚬ bigram_overla
p_ratio
⚬ trigram_overla
p_count
⚬ trigram_overla
p_ratio
⚬ quotes_count
• DeBERTaV3
• LGBM
原特徵 +
BERT
多特徵
+DeBERTaV3+LG
BM
多特徵
+DeBERTaV3+LGBM
多特徵
+DeBERTaV3+LGBM+XG
B+CAT
延伸特徵 +
RF
Action 4

21. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 3 - ML & DL 模型選擇、組合
• 多特徵：
⚬ prompt_l
ength
⚬ summary
_length
⚬ fixed_su
mmary_t
ext
⚬ spelling_
err_num
⚬ length_ra
tio
⚬ bigram_o
verlap_co
unt
⚬ bigram_o
verlap_ra
tio
⚬ trigram_o
verlap_co
原特徵 +
BERT
多特徵
+DeBERTaV3+LG
BM
多特徵
+DeBERTaV3+LGBM+La
sso
多特徵
+DeBERTaV3+LGBM
延伸特徵 +
RF
Action 5

22. +DeBERTaV3+LGBM
+Lasso+DeBERTaV3+LGBM
+DeBERTaV3+LGBM+XGB+CAT
+RF
+BERT
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
STEP 4 - 訓練、評估預測結果

23. STEP 5 - 優化方向
• 要加特徵，並找出更合適的組合
• DeBERTaV3 + 合適的 Regressors
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

24. Kaggle Competition
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
until 10/4

25. 實現方法 - 系統介面
Chapter 4
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

26. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
GUI

27. 4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
URL Routing
智慧
評分系統
應用軟體架構
https://
127.0.0.1:5000

28. HTML Python
• 顯示文章內容、摘要目標等
資訊
• 提供學生輸入摘要的欄位
• 顯示「內容組織」、「語意邏
輯」等級
• 資料讀取
• 特徵處理
• 模型訓練
• 儲存權重
• 從網頁讀取學生輸入
• 讀取權重&預測分數
• 輸出分數到網頁
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標
應用軟體架構

29. 優化方向
• 使用預測表現更好的模型
• 新增手機 app 版本
• 針對中文語料
• 針對更多元的非選擇題型 (e.g. 引導式寫作、圖表詮釋)
4. 實現方法 -系統介面
3. 實現方法 - 模型訓練
2. 系統架構
1. 動機＆目標

30. 感謝聆
聽 :)