Downloaded 63 times
![37
social-communicative neurodevelopmental disorder
• Prevalence: 1 in 68 children (1 in 42 males) diagnosed [CDC2014]
• ASD: “Spectrum” disorder due to the extreme heterogeneity
什麼是自閉症?](https://image.slidesharecdn.com/mixtaiwan-170119091225/75/MixTaiwan-20170118-37-2048.jpg)
![38
Autism Diagnostic Observation Schedule
自閉症診斷觀察量表[Lord 2001]
• Subject interacts with a clinician for ~30-45 minutes
• Used to help psychologists diagnose autism (current gold standard)
• Psychologists are trained using stringent training protocol
• 28 codes to rate
人類行為訊號分析在自閉症中的角色?](https://image.slidesharecdn.com/mixtaiwan-170119091225/75/MixTaiwan-20170118-38-2048.jpg)
Uploaded byMix Taiwan
MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享
该文档介绍了国立清华大学电机工程学系的行为信息学与交互计算实验室（BIIC），强调跨领域研究和新兴人工智能的应用，特别是在医疗、教育和社会行为分析等领域。它探讨了通过数据收集和机器学习技术量化人类行为的潜力，为专家决策提供新的工具和方法。文档还涵盖了具体实例，包括自闭症诊断与急救护理领域中的具体应用，以及多模态行为信号处理的研究。
![[DSC 2016] 系列活動：李祈均 / 人類行為大數據分析](https://cdn.slidesharecdn.com/ss_thumbnails/bspdatasci2016-jeremy-161029145502-thumbnail.jpg?width=640&height=640&fit=bounds)
MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享
- 1. 1 李祈均 (Jeremy) 國立清華大學電機工程學系 Behavioral Informaticsand Interaction Computation Lab (BIIC) http://biic.ee.nthu.edu.tw Mix Taiwan 創意x技術 知識分享沙龍: Life in Tech-生活篇 新智能‧大技術 新興人工智慧跨領域研究實例分享
- 2.
- 4. Naïve Bayes Algorithm Transferlearning A-priori Algorithm (Mixture) Gaussian distribution Random Forests Logistic Regression (Deep)Neural Networks Decision Trees Nearest Neighbor Support Vector Machine K-Means Algorithm Linear Regression Active learning Domain adaptation Semi-supervised learningReinforcement learning unsupervised learningsupervised learning
- 6.
- 7.
- 8. 8 Emotion Health Care Education Voice Recognition Symptomdiagnosis Behavior Activity Image Recogn Medical IBM Pathway Genomics Detection of Diabetic Retinopathy in Retinal Fundus Photographs Customer Behavior Medical Imaging Genomic Medicine 跨領域整合 – 與人相關
- 9.
- 10. 10 人類主觀(Subjective)判斷(Assessment): . . .透過觀察，思考，互動進行高階層能力與內在狀態認知 . . . 這種能力也已被運用在各個領域進行決策
- 11. 11 校長甄選: 演講好壞 急診檢傷: 疼痛程度 自閉症診斷:社交互動 量化 國教院校長儲訓即席演 講評分表 病人主述量表 (NRS) 自閉症互動觀察量表 (ADOS) 觀 察 式 自 述 式 互 動 兼 觀 察 式
- 12. 12 專家決策 = 𝑓量表 or 自述 = 𝑓(內在感受) = 𝑓 量化行為以自動分析辨識高階內在狀態 = Behavioral Signal Processing Approach = 𝑓(內在病症/能力) • Large-scale • Consistency • Paradigm beyond current status quo
- 13. 13 透過數位資料收集、整合跨領域人類科學知識、開發訊號處理、機器 學習演算法，對於人類行為量化分析辨識，提供專家全新的決策工具 Seek a windowinto human mind and traits… …through engineering approach S. Narayanan and P. G. Georgiou, “Behavioral signal processing: Deriving human behavioral informatics from speech and language," Proceedings of the IEEE, vol. 101, no. 5, pp. 1203–1233, 2013.
- 14.
- 15. BSP INGREDIENTS 15 資料代表性 資料真實性、應用導向 資料收集媒介 充分預處理 誰說甚麼 (語音檢測器、人聲分群) 臉部、肢體偵測、追蹤 適切模型建立 符合資料特性、數量的演 算法應用 演算法包含: 特徵值計算+ 機器學習 多面向模型評估 多面向有意義的評估系統效度 慎選指標、應用導向 持續跨領域合作 I. 收集 II. 預處理 III. 建模 IV. 評估
- 16.
- 17.
- 18.
- 19. 19 62.5分 (低) 題目:請對學校教師說明你對"教師 評鑑"的看法 89分(高) 題目: 如何提升學生英語能力 資料收集
- 20. 20 聲音特徵計算 肢體動作特徵計算 𝑙-frame Dense Points Tracking TRAJ MBHxy Each𝑉𝑚 = A Unit-level (66ms) 𝑞-length Derived Video features 肢體動作的低階(66毫秒)描述向量 整體演講肢體動作表達(編碼) 𝑉1 𝑉𝑚 𝑉2 𝑉3 𝑉 𝑀 𝑆1 𝑆2 𝑆𝑁 Acoustic LLDs Each 𝐴 𝑆𝑋:𝑌 = A Unit-level (200ms) 𝑝-length Dense Acoustic Features Functionals 聲音片段切割 𝐴 𝑆1: {1, 𝐾1}𝑆1 𝐴 𝑆1:1 𝐴 𝑆2:1 𝐴 𝑆𝑘:1 𝐴 𝑆1:𝑘 聲音特性低階(200毫秒)描述向量 𝐴 𝑆2: {1, 𝐾2} 𝐴 𝑆3: {1, 𝐾3} 𝐴 𝑆4: {1, 𝐾4} 整體演講聲音特性描繪(編碼)
- 21. 21 文字稿特徵計算 好 齁 那 也 希 望 . . . N-gram K-means All Documents BOW perDocument … … … … … … 編碼: 文章向量 Word2vec N個前後文字 關係模型
- 22.
- 23. 23 驗證: 準確率測試 輔導校長 1 輔導校長2 自動化評分 Spearman correlation (排序相關係數) 𝒓 = 𝟎. 𝟔𝟔 輔導校長 3
- 24. 24 驗證:一致性測試 輔導校長 2 輔導校長 1 10個月後 輔導校長2 輔導校長 1 一開始 自動評分 10 筆相同演講影音資料 𝒓 = 𝟎. 𝟓𝟑 𝒓 = 𝟎. 𝟔𝟏 𝒓 = 𝟎. 𝟔𝟓
- 25.
- 26. 26 • 個案研究 • 學校校務發展計畫 •教育參觀心得 • 生活札記 融入哪些測驗培訓評量對於建構演講評分 會有顯著效果 ? • 學科測驗 • 生活表現 融入哪些測驗培訓評量對 於建構演講評分會沒有用? 運用多任務機器學習(Multi-tasking Learning)方式 針對教育培訓甄選計畫的新洞見
- 27.
- 28.
- 29. 29 0 2000000 4000000 6000000 8000000 2010 2011 20122013 2014 2015 2010~2015 THE NUMBER OF EMERGENCY PATIENTS 7,200,000
- 30. 30 台灣急診檢傷與急迫度分級量表 (Taiwan Triage andAcuity Scale, TTAS) 呼吸窘迫 血行動力 意識程度 外傷 體溫 週邊或中樞 疼痛程度 自述量表
- 31.
- 32.
- 33.
- 34. 34(低度: 0-3, 中度: 4-6, 高度 : 7-10) 病人: 高疼痛 辨識: 低疼痛 病人: 低疼痛 辨識: 高疼痛 準確率 高低疼痛辨識 76%
- 35.
- 36. 36 精神醫療實例 . .. 自閉症小孩社交溝通 台大醫院精神部
- 37. 37 social-communicative neurodevelopmental disorder •Prevalence: 1 in 68 children (1 in 42 males) diagnosed [CDC2014] • ASD: “Spectrum” disorder due to the extreme heterogeneity 什麼是自閉症?
- 38. 38 Autism Diagnostic ObservationSchedule 自閉症診斷觀察量表[Lord 2001] • Subject interacts with a clinician for ~30-45 minutes • Used to help psychologists diagnose autism (current gold standard) • Psychologists are trained using stringent training protocol • 28 codes to rate 人類行為訊號分析在自閉症中的角色?
- 39.
- 40.
- 41. ADOS: Social reciprocityscore (B9) 辨識 專家診斷 正常 正常 多模態互動行為關係指數
- 42. ADOS: social reciprocityscore (B9) 辨識 專家診斷 嚴重 嚴重 多模態互動行為關係指數
- 43.
- 44. 44 主觀敘述→ 客觀、資料驅動的人類行為描述 提供全新客觀第三視角分析探討自閉症小孩社交行為 Insight beyondcurrent capability, opportunity now emerges… We can now start imagining the application of this 洞見: (1) 更早期發現 (照護者行為模型?) (2) 醫師、諮商師訓練? More?
- 45.
- 46.
- 47. 47 情緒辨識 Affective Computing 社交行為訊號處理Social Signal Processing 副語言資訊辨識 Paralinguistic Recognition 生心理病症辨識預測 Physiological/Pathological Disorder Recognition/Prediction 除了BSP, 其他領域
- 48. 48 In-car 駕駛人行為分析 生心理疾病的提前風險評估 疾病病程追蹤 In-home 行為追蹤 In-classroom學習診斷 …on and on… 除了今天講的方向，其他題目
- 49. 49 訊號處理、機器學習 Enabling Technologies 領域專家知識 Domain ExpertsKnowledge Low level descriptors Acoustic features Motion features Text features Image features Speech recognition Face recognition Action recognition Dialog act tagging Keyword spotting Text processing Sentiment Analysis Affect recognition Speaker states and traits Visual- speech processing Interaction modeling Subjective assessment Internal state & construct Neuro- developmen tal disorder Evidence- based observational coding Intervention efficacy Coder variability control Development of coding manual Self report measure validity Coding mechanism Social behavior Affective behavior Communica tive behavior Dyadic behavior 人類訊號處理
- 50. 50 人類行為非常複雜 數位資料收集 (非結構化) 行為訊號處理 (客觀) 機器學習(人工智慧):找尋 Pattern (非線性的可預測性) Contextualize 在各種領域應用
- 51.
- 52. 52 科技、資料、人類行為、人工智慧、跨領域合作 提供專家決策工具，全新各種的可能 顯微鏡: 不只是 “放大” 可以研究開發幫助社會有意義科技應用 Challengingthe status quo/ Pushing scientific boundary Making a positive impact
- 53. 53 BiiC lab @NTHU EE http://biic.ee.nthu.edu.tw THANK YOU . . . many COLLABORATORS + the entire BIIC lab
Editor's Notes
- #3 這是美國維吉尼亞的地鐵 很複雜嗎? 那這個呢?
- #4 MACHINE LEARNING是一個集合名詞，而這些都是與他有關的詞彙 the science and engineering of making intelligent machines
- #5 機器學習希望讓機器能夠跟人一樣知道什麼是對的什麼是錯的 假設機器是一個大腦的話這些演算法就是他的運行方式 當然其中也有深度學習deep learning
- #6 https://www.ventureradar.com/
- #7 http://versionone.vc/data-not-algorithms-is-key-to-machine-learning-success/ http://www.onalytica.com/blog/posts/artificial-intelligence-machine-learning-top-100-influencers-and-brands/
- #8 https://venturescannerinsights.wordpress.com/category/artificial-intelligence-2/
- #9 Education: Myedmatch:https://myedmatch.force.com/MEMHome Gooru:Content analytics that organize and optimize content modules http://about.gooru.org/ Health care Ginger.io:https://ginger.io/ Emotion Recogn: pepper MIT LAB(還沒放):https://techcrunch.com/2016/09/20/this-mit-device-can-tell-if-youre-happy-sad-or-angry-using-wireless-signals/?sr_share=facebook Behavioral Recogn: customer behavior :http://www.strong.io/blog/predicting-customer-behavior-machine-learning-to-identify-paying-customers Symptom pred: IBM Pathway Genomics Detection of Diabetic Retinopathy in Retinal Fundus Photographs http://jamanetwork.com/journals/jama/article-abstract/2588763 Image crcong: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4220564/ Medical: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7347331
- #10 其中包含4大元素，其實跟carry out一個data science的work很類似
- #16 有效的收集真實資料 聲音影像資料需要先有初步充分預處理 建議模型, 特徵質(讓電腦看得懂影像或聲音或文字), 機器學習辨識(通常監督式學習) 因為這些跟人相關的 (target label本身也含有點主觀性) 於是評估需要多面向 參考跨領域專家的評估
- #19 推行有效訓練校長課程已經很多年了, 發展出一套系統準則, 每班有兩位輔導校長 問題: 大規模運用, 以行為來當作評量訓練的基準 先從校長班開始
- #20 這邊有兩個例子 以前演講評分表
- #21 現在到了建模, 知道語音肢體動作慢一點講 讓電腦聽懂聲音….高密度聲音敘述質方法, 一句話切出後一班語音處理會將個波行(這波形就是..)變成10毫秒有一個向量, 在語音韻律上拉個200ms, 一整個演講不同長度…基本上整份資料庫進行編碼, 再回頭 計算數量 產生histogram 讓電腦聽懂聲音 video frame (15hz) 這樣對每一個演講, 我們都會讓聲音有一個高維度(向量裡面很多variables)表達聲音與肢體動作
- #22 段與 前後文
- #23 電腦看得懂就簡單了 聲音影像可否融合? 可以我們用了一個簡單方法
- #24 感覺還可以, 在滿多類似高主觀的task這是個不錯的開始 (想想真有辦法100%嗎?)
- #25 我們做了個小實驗
- #26 設計多面向訊量與評量 想像即席演講這樣的設置在測甚麼是否跟其他有可能重付, 可否被利用
- #29 跟林口長庚急診部合作
- #37 預期至少要先收到500 希望可以過展 真實的試看看
- #47 這樣的研究靠緊密的跨領域 領域專家不只是最後使用者, 其實當工程師(data scientist)在整個bsp loop裡時也會大量提供input
- #50 Enabling technologies + Advancement in the development of construct 匯流整合 研究中間 運用兩邊
- #51 訊號處理 客觀的讓電腦看人類行為
- #53 訊號, 不只是 人工關查行為量表, 問卷
- #54 2014 年成立， 學生很讚，感謝跟我們合作的各個領域專家