Recommended
More Related Content
What's hot
What's hot (20)
Similar to Deep learning
Similar to Deep learning (20)
More from Collaborator
More from Collaborator (20)
Deep learning
- 1. 新趨勢－深度學習 台大財金三 司惟之 台大財金三 陳奕辰 政大經濟三 費俊昱 政大經濟四 于雅綸 台大財金四 江亭叡 台大農經碩二 盧廷瑞 1 2019/10/19
- 3. 3 結論 ● 深度學習於智慧醫療的應用，可提高機器人輔助手術的穩健性和適應性，其支持高度重複、對時間 敏感的手術特性，提高手術成功率，且未來將應用於更多樣態的手術中。 ● 未來深度學習模型將朝XAI(可解釋化AI)發展，原因為許多領域如金融、法律等行業強調決策背後的 支持理由，傳統AI出現的黑盒子問題將逐步被解決。 ● 深度學習因有組合爆炸問題，使得其無法跨領域發展，且在某些如醫療等特定領域發展也因此問題 而受到局限，而目前仍未有明顯的解決方法。 ● 深度學習技術雖可以應用於多個領域，方便我們的生活，然而技術也可能被用於造假，這些以假亂 真的影像會造成許多問題。 ● 深度學習可能造成道德倫理問題，而目前各方人士都試圖提出監督規範、加強監控使用，然而尚無 統一的強制規定。
- 4. 深度學習介紹 01 4
- 5. 5 人工智慧領域 • 創造有智慧的機器，近似人類的思考， 卻有更強大的運算速度與能力！ 人工智慧 機器學習 深度學習 • 機器學習：使用大量數據和演算法訓練機器， 讓他學習如何完成任務。 • 深度學習：從生物學中擷取神經網絡的靈 感，一種機器學習的技術。
- 6. 6 深度學習帶來產業附加價值 資料來源: WHO、HDI、WIKI 加值能力 • 人工智慧帶來繼工業革命之後最大的一波科技變革。 也因此我們對深度學習等人工智能的想法不應該是 「AI」產業。AI是一個技術，並且可以被廣泛的運 用於每一產業，增加產業的附加價值以及效率。 Potential AI value across functions in 19 global sectors, $ trillion (McKinsey Quarterly Q3-2018)
- 7. 7 深度學習近年重要性增加 資料來源: WHO、HDI、WIKI 資料量上升大來進步 • 深度學習的出現其實並不是近期的事情。最早受到了 1959年諾貝爾獎得主的理論啟發。現在的電腦運算量 大幅增加，且資料量也大幅大增加，因此帶動了技術 的進步。去年的Turing Award 就是頒發給深度學習 的專家，一位在Google，一位在Facebook，一位在 學術界 。 各國重視提高 • 從右圖可以看到美國對於深度學習的重視程度大幅上 升，且大多國家都在競爭相關領域的發展。中國得利 於資料的取得與政府的大力支持，在很多領域已經超 越了歐美國家，尤其是視覺辨識相關能力。
- 9. 9 深度學習發展快速 資料來源: WHO、HDI、WIKI 里程碑 • 1996年IBM的深藍正式打敗人類象棋高手 • 2011年IBM的華生贏得了美國的Jeopardy!問答比賽 • 2016年Google AlphaGo 打敗了人類圍棋高手 • 2017年AlphaGo Zero 單純依賴左右互博40天能力就超越了 AlphaGo
- 11. 02 11 深度學習原理
- 12. 12 機器學習種類 監督式學習 (Supervised Learning) 非監督式學習 (Un-supervised Learning) 半監督式學習 (Semi- supervised Learning) 強化式學習 (Reinforcement Learning) 主要任務為Classification(分 類)、Regression(回歸)。人 工「標註」(label)，告訴機器 相對應的值，以進行模型訓練。 主要任務為Clustering(分群)、 Association(關聯性)。所有資 料都沒標註，機器自行尋找特 徵進行分類。 「標註」少部分資料，再透過 有標註的資料找出特徵並對其 它資料進行分類，是目前最常 用的一種方式。 透過每一次與環境互動來學習， 不標註任何資料，但告訴它所 採取的每一步對錯，根據反饋 的好壞，機器自行修正、得到 正確的結果。 若訓練區分大象和長頸鹿： 標註 100 張大象和長頸鹿的照 片。 機器依照特徵就能辨識出大象 和長頸鹿並進行預測。 機器自行判斷 100 張照片裡大 象和長頸鹿各自特徵，並同時 分類。 在預測時依此去辨識是哪一種 動物。 標註100張中其中 10 張照片。 機器透過這 10 張的特徵去辨 識及分類剩餘的照片。 因有辨識的依據，預測出來的 結果較為非監督式學習準確。 機器自行辨識特徵與分類，若 分類錯誤，人類給予錯誤的訊 息。機器會再次辨認及分類。 透過一次一次正確與錯誤的學 習，預測會越來越精準。
- 13. 13 深度學習與機器學習差別 機器學習 深度學習 結構 資料→特徵擷取→模型→答案 資料→（模型特徵擷取自學）→答案 特色 人為挑出特徵後量化，再去訓練 讓機器自己識別特徵差異，不見得個別特徵
- 15. 15 補充：Hidden Layer的概念 • 訓練模型的過程可分為多個層次，代表對觀測值的多層抽象。不同的層數和層的規模可用於不同程度的 抽象，更高層次的概念從低層次的概念學習得到。 第 1 層 hidden layer 學習到的 features: blobs, edges 第 2 層 hidden layer 學習到的 features: noses, eyes, cheeks 第 3 層 hidden layer 學習到的 features: faces
- 16. 16資料來源：中研院AI月資料、程式前沿 CNN RNN GAN 全名 卷積神經網路 循環神經網路 生成式對抗網路 適合資料 處理空間上連續的資料 處理有時間序列、語意結構的 資料，例如分析電影評價好壞 輔佐電腦「觀全局」，不會忘 記自己做過的步驟 舉例應用 影像辨識 分析電影評價好壞 風格轉換、IC電路設計 延伸類別 R-CNN等 LSTM（長短期記憶）、 BRNN DCGAN 常見的深度學習結構 CNN 處理模型的 Demo
- 17. 17圖片來源：Wiki, Quora ● 選擇神經網路的結構（CNN, RNN, etc.） ● 選擇Loss Function & Activation Function ● 將資料分成Training data 和testing data ● gradient descent，觀察loss的變化=>為了找出最佳解！ ● 避免overfitting（可使用正規化Regularization）修正 訓練模型步驟
- 18. 03 18 深度學習未來應用
- 19. 19 Google Lens 智慧鏡頭 ● 即時翻譯外文內容：從鏡頭拍攝的圖片中自動偵測目標上的語言為何， 不需要選定原始語言，透過深度學習技術，Google 能自行判斷直接 進行翻譯，最後也導入 Google 神經機器翻譯系統，除了提升翻譯品 質，離線翻譯也得以實現。 ● 快速複製及查詢眼前產品、路標上的文字。 ● 快速找出眼前餐廳菜單裡的「熱門餐點」、「餐點評價」。 ● 掃描名片可自動建立聯絡人並附上電子郵件及電話；掃描會議文件能 自動建立行程至行事曆裡 ● Google AI 實驗室推出即時手部追蹤新技術，可望協助手語和口語族 群彼此溝通。 語言領域-即時翻譯與查詢 現在 未來 資料來源: Google、電腦玩物、INSIDE
- 20. 20 ● PayPal透過深度學習技術來偵測詐騙行為模式，以過濾可疑的使用者或遭盜用的帳號。 ● 從支付交易歷史資料中，還有使用者登入裝置，或是交易時的地理位置、IP地址和使用者帳 戶資料等資料點，來建立詐欺行為模型，來分析每筆交易的細節，以判斷是否有詐騙或盜用 情形。過去靠線性模型只能處理20到30個變數，但PayPal改導入深度學習技術後，可以處理 到數千個資料點，更容易從大量資料中找出偵測模型。 金融領域-詐騙偵測 PayPal偵測詐騙 資料來源: Google、iThome 丹麥銀行 ● 丹麥銀行導入Teradata深度學習技術，以真實發生的詐騙案例為數據來源，來訓練誤報事件 的判斷模型，讓報錯率大幅減少至少6成。 ● 檢測系統可以分析每年數百萬次的交易行為，甚至尖峰時期可以分析每分鐘數十萬次的交易 行為。
- 21. 21 • 可以透過SMS、EMAIL發出警報夾帶觸發辨識該支攝影機之截圖，也 可併合警報器發報。 • 應用於泰航、療養院、照護中心 影像辨識-人臉辨識門禁系統 艾陽科技 人臉辨識 目前可於資料庫內辨識出全側臉或戴口罩、墨鏡之正臉，若 辨識角度20度內且光源穩定，可逾萬人資料庫中達成95％ 以上。 遠端操控 伺服器與客戶端形成物聯網架構 黑名單 黑名單成員出現時，可透過結合EZ Pro以SMS、EMAIL發 出警報，並同時挾帶觸發辨識該支攝影機之截圖。 VIP 同上 分群管理 方便管理人員區域使用權，若攝影機辨識為無權限進入該區 域則無法進入且產生警報器警示安全人員。 資料來源: Google、Smart City
- 22. 22 ● 一般人臉辨識，每秒辨識300到500張人臉，SkyREC每秒可以完成 4,300～8,500張的人臉偵測、辨識。 ● 運用人臉偵測的深度學習演算法：使用大量在地人臉來當作訓練樣 本。 ● 在訓練人臉模型，很多都使用歐美人臉來當做訓練樣本，但當要拿 到亞洲甚至臺灣人臉辨識使用時，常常會因為東、西方人五官臉型、 輪廓的差異，使得亞洲人的人臉辨識準度容易受影響。 ● 透過嵌在天花板上的魚眼鏡頭，分析來客的身體動作舉止，了解店 內的人流動向，顧客購物行為，並依據身體肩寬、動作舉止的差異 來辨識男女性別、年齡，即使沒有照到完整臉也能辨認得出，但可 以做為一般人臉屬性判別的參考來使用。 影像辨識 SkyREC人臉辨識-SkyREC 資料來源: iThome
- 23. 23 ● 火災：現今市面上多以感測器為主，但由於反應時間較 長，偵測到時火勢已較大，無法在第一時間迅速撲滅。 ● 煙霧偵測：透過感測器感測懸浮粒子，若於開放或半開 放空間使用，難以辨識。 ● 剛生成的火苗變幻無窮，顏色、形狀都不固定，是以火 苗辨識具備一定難度，對硬體與軟體的要求接高於一般 物體辨識。 ● 以深度學習系統導入大量影片及照片，並可偵測出運動 物體，於火苗冒煙時及任一物件觸發時即可準確辨識出。 環境安控 現今 未來 艾陽科技 資料來源: Google、Smart City
- 24. 24 智慧醫療-醫療照護辨識 • 使用ToF紅外線光點3D成像結合卷積式類神經網路深度學 習開發，偵測物件輪廓，判斷病患的跌倒、離床、離房事 件，有效距離達6公尺，解決過去電腦視覺感測無「景深」 概念。 • 透過深度學習，準確判斷比例將會隨著學習時間延長，資 料量增加而逐漸提升。 • Radar生理指數感測：使用77GHz微波Radar進行範圍內 物體生理指數感測(血壓、脈搏、呼吸…等)，有效範圍約為 50~80 公尺，只要感測數據異常，主動回報處理。提高準 確度與偵測距離並同時感測多個物件。 • 可降低 15 % 照護人力花費以及頻繁巡房的時間，同時， 以 Radar 微波做身體脈搏心跳感測，更可降低病患猝死機 會 20 %。 艾陽科技 資料來源: Google、Smart City
- 25. 25 ● 支持高度重複與時間敏感的手術任務，如縫合和打結： 例如，計算機視覺技術（用於目標檢測/分割和立體視覺的 CNN） 可以根據圖像數據重建開放性傷口的樣子，然後通過解決路徑優化 問題生成縫合或打結，該路徑優化考慮外部約束 （如關節限制和障 礙），找到最優軌跡。用圖像訓練的 RNN 通過學習外科醫生的動 作序列能夠學會自動打結。 ● 對完全自動化的機器人手術、微創手術尤其有益： 在腹腔鏡手術中，需要有幾個切口把器械插入體內，包括相機和手 術工具，然後外科醫生遙控操作這些器械。深度模仿學習、RNN、 軌跡遷移算法可以完全自動化手術過程中的某些遙控操作任務。 機器人輔助手術（RAS） 智慧醫療 通過使用計算機視覺模型來觀察手術環境，使用機器學習方法學習外科醫生的動作，以深度學習 提高機器人輔助手術的穩健性和適應性。
- 27. 深度學習未來困境 04 27
- 28. 未來可能的技術困境4-1 28
- 29. 29資料來源: elite data science 內在技術－過度(低度)擬合問題 信號v.s.雜音 ● 信號(signal)：指我們希望從數據裡找出的一種模式，通常為數據集裡的常態分配 ● 雜音(noise)：數據裡出現的一些不相關或隨機的資訊，通常為數據集裡的極端值 過度擬合(overfitting) ● 當一個訓練過後的模型可辨認出數據裡的「雜音」而 不是「信號」時，會出現其在原本訓練的環境中可以 表現得相當好，但卻無法在新環境有著一樣的表現， 這種情況就被我們稱為過度擬合。 低度擬合(underfitting) ● 和過度擬合相反，為訓練過的模型無法辨認出「雜音」 和「信號」，且在新環境中往往會出現錯誤的結果， 這種情況稱為低度擬合。
- 30. 30資料來源: elite data science 變異和偏差之比例為過度(低度)擬合原因 低度擬合 過度擬合 演算法 高偏差、低變異 低偏差、高變異 辨識 無法辨識信號和噪音 只能辨識噪音 特性 一致、不準確、較簡 單 不一致、準確、較複 雜 案例 線性迴歸、有母數分析、決策樹、最近點搜索 ● 偏差(bias)：指一個演算法的彈性在學習辨 認信號的過程中受到限制 ● 變異(variance)：指一個演算法對於特定訓 練數據的敏感度
- 31. 31資料來源: elite data science 解決方法：正規化和早停法 正規化 早停法 作法 調整模型和演算法，使其 變得比較簡單 找到最適的停止點，使得 模型出現最少的錯誤 案例 在線性迴歸函數加上懲罰 因子 在測試集(test set)找出最 適的停止點 ● 早停法為使演算法的複雜度保留在一個最適點讓其發生錯誤的數 量降至最低，而此法可藉由調整偏差(bias)和變異(variance)的 比例做到。
- 32. 32 不可解釋性－黑盒子問題 黑盒子問題 ● 黑盒子指有時AI會做出人類無法理解的決策，但卻不會提供一個合理的解釋，因此而 有「黑盒子AI」的說法。因此黑盒子AI無法應用在某些極度要求合理解釋其決策的行 業，如金融、保險、法律等等行業。 咎責困難 ● 因為AI的不可解釋性，使得AI難以被歸屬責任。如自駕車肇事時，因為無法得知是否 為AI演算法的問題，導致後續賠償等問題的困難；或是在面對客戶的疑問時，因為無 從得知AI的決策過程而無法回答等問題。 技術改善困難 ● 軟體編寫人員因為無法得知AI做決策的過程，因此無法得知模型中是否有錯誤，僅能 依賴演算法產出的結果作為判斷；而不可解釋性同樣使優化和模型偵錯變得更加困難。 資料來源: KDD tutorial
- 33. 33 ● 具備深度解釋能力(deep explanation)和可解釋模型(interpretable models)的AI，可視為是黑盒子 AI的相反，提供不只是決策，以及決策背後的原因和邏輯。 未來深度學習朝向XAI發展 explainable AI(XAI) 資料來源: KDD tutorial
- 34. 34資料來源: tech orange 外生限制－組合爆炸問題 組合爆炸 ● 深度學習較難以處理圖像問題，原因為真實世界的圖像集是有幾乎無限種組合的，因此任何 數據集，無論它有多大，都很難代表真實世界的複雜性。 ● 深度學習由於避免了過度擬合問題，因此特別難以應付數據集中不經常發生的“罕見事件”。 但在現實世界的某些領域中，這些特例反而是個大問題。比如，用於訓練自動駕駛汽車的數 據集幾乎從不包含“嬰兒坐在路上”的情況，但此種特例卻仍有可能發生，而在發生時數據 集便無法做出反應。
- 35. 35資料來源: tech orange 組合爆炸使得深度學習仍有發展阻礙 無法跨領域發展 醫療、自駕等領域成為發展侷限 ● 因深度學習需要大量的數據訓練，而跨領域會使深度學習的數據量變得過於龐大，因 此更容易發生組合爆炸的問題，導致其岀錯率變高，因此目前深度學習仍然侷限在一 種演算法只能應用在單一領域。 ● 組合爆炸可能不會發生在某些視覺任務上，深度學習在醫學圖像應用上可能會非常成 功，因為醫學圖像中上下文變化相對較小(例如胰腺和十二指腸非常接近)，但醫療方 面如許多重大疾病(癌症等)仍無法利用人工智能解決。 ● 自駕車領域目前也仍無法做到完全無肇事率的地步，深度學習無法排除一些真實世界 所發生的極端特殊狀況。因此對於許多真實世界的應用程序，如果沒有指數級大的數 據集，就無法捕捉真實世界的複雜性。
- 36. 道德議題及隱私權爭議4-2 36
- 37. 37 為大型企業及新創公司所用 資料來源: Harvard Business Review 主要開發者 • 大型既有科技公司具備能投入研發的大量資金、能取用龐大的 數據資料，並擁有互補資產和穩固的市場的優勢。 • 調研機構CB Insights今年3月發布了全球人工智慧獨角獸報告， 顯示截止目前已經有32家人工智慧公司估值達到10億美元以上。 中小型企業為新創公司主要客戶 • 新創公司以中型企業為目標客戶的情況不成比例地多，美國只 有26％的員工在中型企業工作，但將近一半的人工智慧新創公 司，銷售產品給中型企業（51到1,000名員工）。主因為中小 型企業無法負擔開發技術的投資，而且它們通常根本缺乏進行 相關開發工作的資訊科技人才。 此圖為美國各規模企業就業人數 及新創公司客戶百分比圖
- 38. 38 技術可能被用於造假 資料來源: BBC、hk01、CNN 文字編寫難以辨別 • GPT2人工智能文字編寫程序，只需要輸入片段文字即可產出符合範例風格的文章，可以被用於產 出新聞等客觀文字，也有能力編寫小說等主觀性文字。 • 只要輸入片段文字，GPT2即可續寫，不講求事實及證據，因此能創造出假新聞。而巨大的數據儲 藏能力、寫作質量和應用的廣泛性使它生產出的文字達到了真假難辨的程度。 • 開發者OpenAI 表示，由於考量技術可能遭惡意使用，決定暫時不公開GPT2的技術。 深度造假 • 運用深度學習及人臉辨識，只要提供電腦足夠樣本，即可模仿相關人物的表情聲線，創造出極度仿 真的造假影片(deepfake)。 • 深度造假經常被用於政治人物，此種操作能夠左右選舉結果，甚至可能引發國安問題。 • 深度造假也被用於製造色情素材，產生的素材危害相關人士名譽。今年7月能創造出以假亂真的合 成裸照的應用程式「DeepNude」在不堪輿論抗議之下，關閉網站並停止應用。
- 39. 39 人工智慧衍生道德倫理問題 資料來源: New York Times、每日頭條、technews 決策可能含有偏見 • 人工智慧透過資料訓練，一旦開發者提供的資料不夠全面，或沒有想方設法避免歧視，AI 推導 出的結果便很容易帶有偏見。若用在徵才、司法用途，偏見的決策結果將會影響到受試者權益。 Neuralink • Neuralink 為 Elon Musk 所成立的新創公司，其主要研究內容為植入式腦機接口技術，希望達到 透過腦機交流，達到增強人類目的。 • 雖然目前仍未進行人體實驗，然而不只其技術對人體生理影響未知性備受討論，技術涉及潛在心理 及行為影響更帶來倫理問題。
- 40. 40 隱私權問題 一般資料保護規則 問題來源 • AI與資料隱私相關部分，主要是以個人資料依賴型的人工智慧(personal data dependent AI)相關 者為範圍，即收集、處理、利用個人資料，以進行智慧學習和智慧應用。 • 人臉辨識、社群媒體及中國社會信用制度為違反隱私權之人工智慧應用案例。 • 歐盟於2016年推出「一般資料保護規則」(GDPR)，取代了1995年制訂的「個人資料保護 令」，在兩年的緩衝期後已於2018年5月正式執行。 • 此法旨在保護以及加強歐盟成員國人民的資料隱私，以及重塑整個地區內的組織處理資料隱 私的方法，然而網路並沒有地域性，因此此法規廣泛影響到只要擁有歐盟公民個資的企業及 組織。 資料來源: Openmind
- 41. 41 非營利組織試圖監管 資料來源: Open AI、The Ethics and Governance of Artificial Intelligence Initiave 人工智慧倫理與監管基金 OpenAI • OpenAI 是一個非營利的人工智慧研究組織，創始人為Elon Musk，他們的使命是確保人工 智能能使全人類受益。 • 他們發佈了OpenAI Charter，為他們履行組織使命的原則，內容包含廣泛造福社會、關注 長遠安全議題、引領技術研究及保持合作意願。 • MIT 媒體實驗室和哈佛大學伯克曼克萊恩互聯網及社會研究中心在2017年共同創辦了「人工 智慧倫理和監管基金」，旨在確保人工智慧的研究、開發及應用符合公平，人類自治和正義的 社會價值。
- 42. 42 設立道德規範 資料來源: MIT Technology Review、EU ethics guideline for trustworthy AI 難以達成共識 歐盟道德條例 • 目前除了私人機構紛紛成立道德委員會監督內部技術開發和部署，歐盟在今年4月提出 人工智慧道德規範。 • 七大道德準則包括搜集的數據得受到安全且隱密的管理，此措施也要求建立對 AI 系統的究 責機制，確保 AI 演算法足夠安全可靠，得以因應錯誤和不一致性。 • 道德規則是相當主觀的，美國麻省理工大學 MIT 開發了一個名為「道德機器(Moral Machine)」的網站，目的就是為了告訴大家，每個人都有不同的道德標準，因此要為 AI 建立一套所有人都能滿意的道德準則非常困難。 • 即使成功建立專供人工智慧運用的道德標準也不一定會改變行為。北卡羅萊納州立大學的研 究發現，要求軟件工程師閱讀道德規範並不能改變他們的行為。
- 43. 43 結論 ● 深度學習於智慧醫療的應用，可提高機器人輔助手術的穩健性和適應性，其支持高度重複、對時間 敏感的手術特性，提高手術成功率，且未來將應用於更多樣態的手術中。 ● 未來深度學習模型將朝XAI(可解釋化AI)發展，原因為許多領域如金融、法律等行業強調決策背後的 支持理由，傳統AI出現的黑盒子問題將逐步被解決。 ● 深度學習因有組合爆炸問題，使得其無法跨領域發展，且在某些如醫療等特定領域發展也因此問題 而受到局限，而目前仍未有明顯的解決方法。 ● 深度學習技術雖可以應用於多個領域，方便我們的生活，然而技術也可能被用於造假，這些以假亂 真的影像會造成許多問題。 ● 深度學習可能造成道德倫理問題，而目前各方人士都試圖提出監督規範、加強監控使用，然而尚無 統一的強制規定。