MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享
•Download as PPTX, PDF•
5 likes•708 views
完整資料：https://goo.gl/wTGmYU 講師介紹： 李祈均博士目前是國立清華大學電機系的助理教授。研究興趣在開發訊號處理及機器學習技術進行深度跨領域研究，尤其是在對人類行為進行分析與預測。他長期著墨在運用不同種類的資料檔 ( 聲音、影像、文字等等 ) 於醫療、教育、心理領域研發相關演算法。他曾是美國 ID Analytics 公司旗下的 id:a lab 的資料科學家，分析客戶信用申請函資訊進行金融信用產品之研發。目前在清大跟榮總、國衛院、長庚醫院、臺大醫院、及國教院等機構合作研究對人類情緒，教育演講，及醫療臨床行為進行量化辨識。 授權方式：公開 影片：https://goo.gl/4MEpNA
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (17)
Similar to MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享
Similar to MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享 (20)
More from Mix Taiwan
More from Mix Taiwan (20)
MixTaiwan 20170118-趨勢-李祈均-新興人工智慧跨領域研究實例分享
- 1. 1 李祈均 (Jeremy) 國立清華大學電機工程學系 Behavioral Informatics and Interaction Computation Lab (BIIC) http://biic.ee.nthu.edu.tw Mix Taiwan 創意x技術 知識分享沙龍: Life in Tech-生活篇 新智能‧大技術 新興人工智慧跨領域研究實例分享
- 4. Naïve Bayes Algorithm Transfer learning A-priori Algorithm (Mixture) Gaussian distribution Random Forests Logistic Regression (Deep)Neural Networks Decision Trees Nearest Neighbor Support Vector Machine K-Means Algorithm Linear Regression Active learning Domain adaptation Semi-supervised learningReinforcement learning unsupervised learningsupervised learning
- 6. 6
- 7. 7
- 8. 8 Emotion Health Care Education Voice Recognition Symptom diagnosis Behavior Activity Image Recogn Medical IBM Pathway Genomics Detection of Diabetic Retinopathy in Retinal Fundus Photographs Customer Behavior Medical Imaging Genomic Medicine 跨領域整合 – 與人相關
- 10. 10 人類主觀(Subjective)判斷(Assessment): . . . 透過觀察，思考，互動進行高階層能力與內在狀態認知 . . . 這種能力也已被運用在各個領域進行決策
- 11. 11 校長甄選: 演講好壞 急診檢傷: 疼痛程度 自閉症診斷: 社交互動 量化 國教院校長儲訓即席演 講評分表 病人主述量表 (NRS) 自閉症互動觀察量表 (ADOS) 觀 察 式 自 述 式 互 動 兼 觀 察 式
- 12. 12 專家決策 = 𝑓 量表 or 自述 = 𝑓(內在感受) = 𝑓 量化行為以自動分析辨識高階內在狀態 = Behavioral Signal Processing Approach = 𝑓(內在病症/能力) • Large-scale • Consistency • Paradigm beyond current status quo
- 13. 13 透過數位資料收集、整合跨領域人類科學知識、開發訊號處理、機器 學習演算法，對於人類行為量化分析辨識，提供專家全新的決策工具 Seek a window into human mind and traits… …through engineering approach S. Narayanan and P. G. Georgiou, “Behavioral signal processing: Deriving human behavioral informatics from speech and language," Proceedings of the IEEE, vol. 101, no. 5, pp. 1203–1233, 2013.
- 15. BSP INGREDIENTS 15 資料代表性 資料真實性、應用導向 資料收集媒介 充分預處理 誰說甚麼 (語音檢測器、人聲分群) 臉部、肢體偵測、追蹤 適切模型建立 符合資料特性、數量的演 算法應用 演算法包含: 特徵值計算 + 機器學習 多面向模型評估 多面向有意義的評估系統效度 慎選指標、應用導向 持續跨領域合作 I. 收集 II. 預處理 III. 建模 IV. 評估
- 17. 17 教育: 國家教育研究院
- 19. 19 62.5分 (低) 題目:請對學校教師說明你對"教師 評鑑"的看法 89分 (高) 題目: 如何提升學生英語能力 資料收集
- 20. 20 聲音特徵計算 肢體動作特徵計算 𝑙-frame Dense Points Tracking TRAJ MBHxy Each 𝑉𝑚 = A Unit-level (66ms) 𝑞-length Derived Video features 肢體動作的低階(66毫秒)描述向量 整體演講肢體動作表達(編碼) 𝑉1 𝑉𝑚 𝑉2 𝑉3 𝑉 𝑀 𝑆1 𝑆2 𝑆𝑁 Acoustic LLDs Each 𝐴 𝑆𝑋:𝑌 = A Unit-level (200ms) 𝑝-length Dense Acoustic Features Functionals 聲音片段切割 𝐴 𝑆1: {1, 𝐾1}𝑆1 𝐴 𝑆1:1 𝐴 𝑆2:1 𝐴 𝑆𝑘:1 𝐴 𝑆1:𝑘 聲音特性低階(200毫秒)描述向量 𝐴 𝑆2: {1, 𝐾2} 𝐴 𝑆3: {1, 𝐾3} 𝐴 𝑆4: {1, 𝐾4} 整體演講聲音特性描繪(編碼)
- 21. 21 文字稿特徵計算 好 齁 那 也 希 望 . . . N-gram K-means All Documents BOW per Document … … … … … … 編碼: 文章向量 Word2vec N個前後文字 關係模型
- 23. 23 驗證: 準確率測試 輔導校長 1 輔導校長 2 自動化評分 Spearman correlation (排序相關係數) 𝒓 = 𝟎. 𝟔𝟔 輔導校長 3
- 24. 24 驗證:一致性測試 輔導校長 2 輔導校長 1 10個月後 輔導校長 2 輔導校長 1 一開始 自動評分 10 筆相同演講影音資料 𝒓 = 𝟎. 𝟓𝟑 𝒓 = 𝟎. 𝟔𝟏 𝒓 = 𝟎. 𝟔𝟓
- 26. 26 • 個案研究 • 學校校務發展計畫 • 教育參觀心得 • 生活札記 融入哪些測驗培訓評量對於建構演講評分 會有顯著效果 ? • 學科測驗 • 生活表現 融入哪些測驗培訓評量對 於建構演講評分會沒有用? 運用多任務機器學習(Multi-tasking Learning)方式 針對教育培訓甄選計畫的新洞見
- 28. 28
- 29. 29 0 2000000 4000000 6000000 8000000 2010 2011 2012 2013 2014 2015 2010~2015 THE NUMBER OF EMERGENCY PATIENTS 7,200,000
- 30. 30 台灣急診檢傷與急迫度分級量表 (Taiwan Triage and Acuity Scale, TTAS) 呼吸窘迫 血行動力 意識程度 外傷 體溫 週邊或中樞 疼痛程度 自述量表
- 32. 32 檢傷護士 家屬 病人 NRS-自述 : 高度疼痛 電腦辨識 : 高度疼痛
- 33. 檢傷護士 家屬 病人 33 NRS-自述 : 輕度疼痛 電腦辨識 : 輕度疼痛
- 34. 34(低度: 0-3, 中度 : 4-6, 高度 : 7-10) 病人: 高疼痛 辨識: 低疼痛 病人: 低疼痛 辨識: 高疼痛 準確率 高低疼痛辨識 76%
- 36. 36 精神醫療實例 . . . 自閉症小孩社交溝通 台大醫院精神部
- 37. 37 social-communicative neurodevelopmental disorder • Prevalence: 1 in 68 children (1 in 42 males) diagnosed [CDC2014] • ASD: “Spectrum” disorder due to the extreme heterogeneity 什麼是自閉症?
- 38. 38 Autism Diagnostic Observation Schedule 自閉症診斷觀察量表[Lord 2001] • Subject interacts with a clinician for ~30-45 minutes • Used to help psychologists diagnose autism (current gold standard) • Psychologists are trained using stringent training protocol • 28 codes to rate 人類行為訊號分析在自閉症中的角色?
- 41. ADOS: Social reciprocity score (B9) 辨識 專家診斷 正常 正常 多模態互動行為關係指數
- 42. ADOS: social reciprocity score (B9) 辨識 專家診斷 嚴重 嚴重 多模態互動行為關係指數
- 44. 44 主觀敘述→ 客觀、資料驅動的人類行為描述 提供全新客觀第三視角分析探討自閉症小孩社交行為 Insight beyond current capability, opportunity now emerges… We can now start imagining the application of this 洞見: (1) 更早期發現 (照護者行為模型?) (2) 醫師、諮商師訓練? More?
- 47. 47 情緒辨識 Affective Computing 社交行為訊號處理 Social Signal Processing 副語言資訊辨識 Paralinguistic Recognition 生心理病症辨識預測 Physiological/Pathological Disorder Recognition/Prediction 除了BSP, 其他領域
- 48. 48 In-car 駕駛人行為分析 生心理疾病的提前風險評估 疾病病程追蹤 In-home 行為追蹤 In-classroom 學習診斷 …on and on… 除了今天講的方向，其他題目
- 49. 49 訊號處理、機器學習 Enabling Technologies 領域專家知識 Domain Experts Knowledge Low level descriptors Acoustic features Motion features Text features Image features Speech recognition Face recognition Action recognition Dialog act tagging Keyword spotting Text processing Sentiment Analysis Affect recognition Speaker states and traits Visual- speech processing Interaction modeling Subjective assessment Internal state & construct Neuro- developmen tal disorder Evidence- based observational coding Intervention efficacy Coder variability control Development of coding manual Self report measure validity Coding mechanism Social behavior Affective behavior Communica tive behavior Dyadic behavior 人類訊號處理
- 50. 50 人類行為非常複雜 數位資料收集 (非結構化) 行為訊號處理 (客觀) 機器學習(人工智慧): 找尋 Pattern (非線性的可預測性) Contextualize 在各種領域應用
- 51. 51
- 52. 52 科技、資料、人類行為、人工智慧、跨領域合作 提供專家決策工具，全新各種的可能 顯微鏡: 不只是 “放大” 可以研究開發幫助社會有意義科技應用 Challenging the status quo/ Pushing scientific boundary Making a positive impact
- 53. 53 BiiC lab @ NTHU EE http://biic.ee.nthu.edu.tw THANK YOU . . . many COLLABORATORS + the entire BIIC lab
Editor's Notes
- 這是美國維吉尼亞的地鐵 很複雜嗎? 那這個呢?
- MACHINE LEARNING是一個集合名詞，而這些都是與他有關的詞彙 the science and engineering of making intelligent machines
- 機器學習希望讓機器能夠跟人一樣知道什麼是對的什麼是錯的 假設機器是一個大腦的話這些演算法就是他的運行方式 當然其中也有深度學習deep learning
- https://www.ventureradar.com/
- http://versionone.vc/data-not-algorithms-is-key-to-machine-learning-success/ http://www.onalytica.com/blog/posts/artificial-intelligence-machine-learning-top-100-influencers-and-brands/
- https://venturescannerinsights.wordpress.com/category/artificial-intelligence-2/
- Education: Myedmatch:https://myedmatch.force.com/MEMHome Gooru:Content analytics that organize and optimize content modules http://about.gooru.org/ Health care Ginger.io:https://ginger.io/ Emotion Recogn: pepper MIT LAB(還沒放):https://techcrunch.com/2016/09/20/this-mit-device-can-tell-if-youre-happy-sad-or-angry-using-wireless-signals/?sr_share=facebook Behavioral Recogn: customer behavior :http://www.strong.io/blog/predicting-customer-behavior-machine-learning-to-identify-paying-customers Symptom pred: IBM Pathway Genomics Detection of Diabetic Retinopathy in Retinal Fundus Photographs http://jamanetwork.com/journals/jama/article-abstract/2588763 Image crcong: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4220564/ Medical: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7347331
- 其中包含4大元素，其實跟carry out一個data science的work很類似
- 有效的收集真實資料 聲音影像資料需要先有初步充分預處理 建議模型, 特徵質(讓電腦看得懂影像或聲音或文字), 機器學習辨識(通常監督式學習) 因為這些跟人相關的 (target label本身也含有點主觀性) 於是評估需要多面向 參考跨領域專家的評估
- 推行有效訓練校長課程已經很多年了, 發展出一套系統準則, 每班有兩位輔導校長 問題: 大規模運用, 以行為來當作評量訓練的基準 先從校長班開始
- 這邊有兩個例子 以前演講評分表
- 現在到了建模, 知道語音肢體動作慢一點講 讓電腦聽懂聲音….高密度聲音敘述質方法, 一句話切出後一班語音處理會將個波行(這波形就是..)變成10毫秒有一個向量, 在語音韻律上拉個200ms, 一整個演講不同長度…基本上整份資料庫進行編碼, 再回頭 計算數量 產生histogram 讓電腦聽懂聲音 video frame (15hz) 這樣對每一個演講, 我們都會讓聲音有一個高維度(向量裡面很多variables)表達聲音與肢體動作
- 段與 前後文
- 電腦看得懂就簡單了 聲音影像可否融合? 可以我們用了一個簡單方法
- 感覺還可以, 在滿多類似高主觀的task這是個不錯的開始 (想想真有辦法100%嗎?)
- 我們做了個小實驗
- 設計多面向訊量與評量 想像即席演講這樣的設置在測甚麼是否跟其他有可能重付, 可否被利用
- 跟林口長庚急診部合作
- 預期至少要先收到500 希望可以過展 真實的試看看
- 這樣的研究靠緊密的跨領域 領域專家不只是最後使用者, 其實當工程師(data scientist)在整個bsp loop裡時也會大量提供input
- Enabling technologies + Advancement in the development of construct 匯流整合 研究中間 運用兩邊
- 訊號處理 客觀的讓電腦看人類行為
- 訊號, 不只是 人工關查行為量表, 問卷
- 2014 年成立， 學生很讚，感謝跟我們合作的各個領域專家