Download as PDF, PPTX
![[台灣人工智慧學校] 人工智慧民主化在台灣](https://cdn.slidesharecdn.com/ss_thumbnails/aidemocratization180512sw-180515030532-thumbnail.jpg?width=640&height=640&fit=bounds)
![[台灣人工智慧學校] 人工智慧技術發展與應用](https://cdn.slidesharecdn.com/ss_thumbnails/version5-final-190319060225-thumbnail.jpg?width=640&height=640&fit=bounds)
![[MS] Thesis Defense](https://cdn.slidesharecdn.com/ss_thumbnails/defenseslidesv8-200414013629-thumbnail.jpg?width=640&height=640&fit=bounds)
從 NN 到 嗯嗯
- 1. Mycena - 深度學習從NN 到 嗯嗯 深度學習從 NN 到 嗯嗯 Presenter: Heng-Shiou Sheu (Individual) Present date: 10/17/2020 1
- 2. Mycena - 深度學習從NN 到 嗯嗯 Table of contents • Deep Learning (深度學習)介紹 • CNN • RNN • GNN • 延伸議題 2
- 3. Mycena - 深度學習從NN 到 嗯嗯 Deep Learning 介紹 3
- 4. Mycena - 深度學習從NN 到 嗯嗯 Deep Learning (深度學習)介紹 ⼀句話總結：深度學習為機器學習的分⽀，⽽近幾年的模型表現多以深度學習為出⾊
- 5. Mycena - 深度學習從NN 到 嗯嗯 Machine Learning (機器學習, ML) V.S Deep Learning(深度學習, DL) 機器學習 深度學習 • 經典算法⽀持：SVM/Decision Tree • CPU 運算即可 • 仰賴專家提取特徵 • 解釋性⾼ • GPU 運算量⼤ • 仰賴資料量 • 模型結構複雜，解釋性降低 • 泛化程度⾼、學習能⼒強
- 6. Mycena - 深度學習從NN 到 嗯嗯 常⾒深度學習網路 CNN RNN GNN GANs Reinforcement Learning Image Credit: Deep Learning Meets SAR 卷積神經網路 遞迴神經網路 圖神經網路 ⽣成對抗網路 強化學習
- 7. Mycena - 深度學習從NN 到 嗯嗯 Convolutional Neural Network(CNN) Image Credit: Deep Learning Meets SAR 價值 • 將⼤資料量圖片有效的降維成⼩資料量 • 能夠保留圖片特徵 基本原理 應⽤ • 卷積層 - 保留圖片特徵 • 池化層 - 避免過擬合 • 全連接層 - 輸出想要結果 • 圖片分類、檢索 • ⽬標定位檢測 • ⽬標分割 • 圖像識別 模型 • AlexNet • InceptionV1,2,3,4 • ResNet • DenseNet
- 8. Mycena - 深度學習從NN 到 嗯嗯 Recurrent Neural Network(RNN) Image Credit: Deep Learning Meets SAR 價值 • 處理序列資料 • 保留長期訊息 • 記憶重點資訊 • 遺忘非重點資訊 基本原理 應⽤ • 輸入層 - 資料丟入 • 隱藏層 - 截取重點資訊 • 輸出層 - 資料輸出 • ⽂本⽣成 • 語⾳識別 • 圖像描述⽣成 • 影片標記 模型 • RNN • LSTM • GRU • Transformer • Bert
- 9. Mycena - 深度學習從NN 到 嗯嗯 Graph Neural Network(GNN) Image Credit: Deep Learning Meets SAR 價值 • 處理非歐幾⾥德空間 • 符合常⾒業務環境資訊 • 可解釋性強 基本原理 應⽤ • 卷積層 - 保留網路特徵 • 聚合層 - 聚合⾃⾝與鄰居資訊 • 池化層 - 避免過擬合 • 藥物結構設計 • 病毒檢測 • 社交網路 • 電路設計 • ⼤眾運輸系統設計 模型 • RandomWalk • ChebNets • GCN • GraphSAGE • GAT • GGNN
- 10. Mycena - 深度學習從NN 到 嗯嗯 Generative Adversarial Network(GAN) Image Credit: Deep Learning Meets SAR 價值 • 建模資料分布 • ⾃動學習特徵提取 基本原理 應⽤ • ⽣成器(Generator) - 透過模型⽣成資料 • 辨別器(discriminator) - 判斷資料來源 • ⽣成圖像 • ⽣成⽂字 • 風格轉換 • 圖片分辨 • ⽣成模型 模型 • GAN • StyleGAN • ComicGAN • 3D-GAN
- 11. Mycena - 深度學習從NN 到 嗯嗯 Reinforcement Learning(RL) Image Credit: Deep Learning Meets SAR 價值 • 符合⼈的思維 基本原理 應⽤ • 代理⼈ - 採取動作且取得獎勵 • 環境 - 非代理⼈以外都是 • 動作 - 代理⼈可執⾏ • 獎勵 - 環境給予 • 狀態 - 可以是任何東⻄ • 機器⼈巡檢 • 遊戲訓練 • ⾏銷系統 • 基⾦操盤 模型 • DeepRL • PPO • A3C • PPO
- 12. Mycena - 深度學習從NN 到 嗯嗯 課前
- 13. Mycena - 深度學習從NN 到 嗯嗯 Neural Networks(類神經網路)介紹 說明 • 模仿⽣物神經系統的數學模型 • 數萬個神經元組成階層(layer) • 激勵函數進⾏非線性轉換 • 透過學習找到最佳權重設定 訓練 • 定義網路架構 • 定義學習⽬標 • 透過數值⽅法訓練 應⽤ • 特徵抽取 • 降維 • 分類 • 函數近似
- 14. Mycena - 深度學習從NN 到 嗯嗯 ⽤ Keras 搭建簡易 NN model 多個網路層的線性堆疊 Dense(神經元數量, 上層維度, 激勵函數, 名稱 Adam 為⼀種常⾒的優化器 loss 為⽬標函數 summary 顯⽰網路結構
- 15. Mycena - 深度學習從NN 到 嗯嗯 NN 常⾒元素介紹(損失函數、優化器、學習率) Optimizer(優化器) Learning Rate(學習率) 就跟開槍⼀樣，數值越⼤的時候，每次左右橫移的幅度 越⼤，例如說：這⼀槍打很遠離中⼼，下⼀槍瞄準時， 你會⼤幅度移動到靶紙的左邊邊界進⾏瞄準 使神經網路在學習事情上，修正時更有效率，像是替換 腦袋⼀樣，依照不同的⽬標選擇不同⽅式學習。 Loss Function(損失函數) 神經學路的學習標準，就像是學習畫圖⼀樣，如果⽬標 是要畫出蒙娜麗莎的微笑，畫得越像，損失函數值越低
- 16. Mycena - 深度學習從NN 到 嗯嗯 CNN 16
- 17. Mycena - 深度學習從NN 到 嗯嗯 CNN 簡略概念 Image Credit: Deep Learning Meets SAR 價值 • 將⼤資料量圖片有效的降維成⼩資料量 • 能夠保留圖片特徵 基本原理 應⽤ • 卷積層 - 保留圖片特徵 • 持化層 - 避免過擬合 • 全連接層 - 輸出想要結果 • 圖片分類、檢索 • ⽬標定位檢測 • ⽬標分割 • 圖像識別 模型 • AlexNet • InceptionV1,2,3,4 • ResNet • DenseNet
- 18. Mycena - 深度學習從NN 到 嗯嗯 AlexNet 介紹(ImageNet’12) Image Credit: AlexNet 貢獻 • 證實 NN 確實有效 • 構建超過 3層的類經網路架構 • 使⽤卷積保留特徵 • 激勵模型使⽤ ReLU 平滑梯度消失問題 • 加入 Dropout 機制避免網路 overfitting 基本原理 • 卷積層 - 保留圖片特徵 • 池化層 - 避免過擬合 • 全連接層 - 輸出想要結果 Feature extraction Classification
- 19. Mycena - 深度學習從NN 到 嗯嗯 How does CNN work ? 卷積層、池化層、全連結層 Image Credit: AlexNet 卷積層 池化層 全連接層 透過特定卷積⽅式，取得特徵。像是對砂⽯使⽤篩網的 概念，不同的篩網使⽤，會得到不同的結果。 將卷積後的特徵，進⾏標準化，以利於描述整體⼀致 性。如同我們針對台北台中⾼雄海岸的砂⽯進⾏過濾之 後，為了要說台灣整體海岸的砂⽯⼤⼩形狀等，我們就 說“平均起來”怎樣怎樣 分類器的概念，取得特徵後，依照權重值與給定的節點 數後，進⾏分類。如同我們取得過濾後的砂⽯後，讓20 個路⼈來決定說哪個是歸類在⼤的，哪些是歸類在⼩ 的。
- 20. Mycena - 深度學習從NN 到 嗯嗯 可視化 AlexNet Image Credit: Teaching-Deep-Learning https://cs.stanford.edu/people/karpathy/convnetjs/demo/mnist.html
- 21. Mycena - 深度學習從NN 到 嗯嗯 常⾒ CNN 模型演進 Image Credit: Go Deep VGG‘14 Inception‘14 Resnet’15 Densenet’16 層數:19 錯誤率: 7.3 層數:22 錯誤率: 6.7 層數:152 錯誤率: 3.57 層數:100 錯誤率: 2.89
- 22. Mycena - 深度學習從NN 到 嗯嗯 CNN 模型效能比較圖 Image Credit: Teaching-Deep-Learning
- 23. Mycena - 深度學習從NN 到 嗯嗯 RNN 23
- 24. Mycena - 深度學習從NN 到 嗯嗯 RNN 介紹 Image Credit: Go Deep • 前⾯介紹類神經網路⽤途 • 但前⾯的模型在⾯對所謂序列性資料時將無法處理 • 缺乏延續性、記憶性 • 為此我們將 NN 的輸入與輸出接再⼀起 • 以此達成所謂記憶的功⽤
- 25. Mycena - 深度學習從NN 到 嗯嗯 LSTM-GRU 介紹 Image Credit: Go Deep • LSTM(1997) 引入 • ForgetGate(遺忘層): 象徵該有多少資訊不需要被記憶 • MemoryGate(記憶層): 象徵該有多少資訊需要被記憶 • 以此解決資訊消失、無法處理長序列問題 • GRU (2014) • 為 LSTM 精良版 • 簡化 Gate 的設計 • 訓練速度較快 • ⼀般提及 RNN model 時 • 多在實作皆為 LSTM 或 GRU
- 26. Mycena - 深度學習從NN 到 嗯嗯 Transformer’18 介紹 Image Credit: Go Deep • 捨棄 Recurrent 結構、平⾏化運算 • 可解釋性更強 • Colab 幫你跑
- 27. Mycena - 深度學習從NN 到 嗯嗯 GNN 27
- 28. Mycena - 深度學習從NN 到 嗯嗯 檢視 FCN/CNN/RNN 如何學習資訊 Image Credit: Relational inductive biases, deep learning, and graph networks 深度學習中重複使⽤＆分享權重值是常⾒作法 • FCN：所有權重值都是獨立，沒有分享 • CNN：使⽤ Kernel 重複使⽤在網路中，藉此達成分享 • RNN：採⽤相同函式來更新與分享
- 29. Mycena - 深度學習從NN 到 嗯嗯 使⽤ GNN 更新權重值來更新 hidden states Image Credit: Relational inductive biases, deep learning, and graph networks
- 30. Mycena - 深度學習從NN 到 嗯嗯 圖神經網路應⽤-節點分類 Image Credit: http://tkipf.github.io/graph-convolutional-networks/ Node classification - Karate club network Karate club graph 顏⾊表達成員分布狀況 透過社交網路來預測 club 成員動向 GNN 權重值初始化 經過兩次卷積後的 embedding
- 31. Mycena - 深度學習從NN 到 嗯嗯 圖神經網路應⽤-異值網路 Image Credit: http://tkipf.github.io/graph-convolutional-networks/ Link prediction 異質網路 表網路中連結起來的節點性質不同 例如：使⽤者與商品連線 通常表達到三種關係的異質網路最多
- 32. Mycena - 深度學習從NN 到 嗯嗯 GAN 32
- 33. Mycena - 深度學習從NN 到 嗯嗯 哪張照片是⽣成對抗網路產⽣的？ Image Credit: PGGAN(ICLR’2018)
- 34. Mycena - 深度學習從NN 到 嗯嗯 GAN 觀念(偵探與假畫) Generator(偽造) 努⼒製造假畫以瞞過偵探的辨識，好增加薪⽔ Detective(偵探) 辨識⼿上的作品是否為真，不讓假畫流傳市場 過程 偵探先⾏上場，⼯作就是檢查⼿上的畫作是否為真，會了解什 麼是蒙娜麗莎的微笑、梵⾕的畫作等，上⼯後，會拿到來⾃偽 造商的假畫，⼀看就踢回去。隨著時間過往，假畫的品質越來 越⾼，直到偵探也開始難以分辨。
- 35. Mycena - 深度學習從NN 到 嗯嗯 GAN 架構 Image Credit: generative models 辨識⼿上的作品是否為真，不讓假畫流傳市場 過程 • 先⾏訓練 Discriminator（偵探） • 使⽤隨機變數 z，丟入 Generator（偽造者），得到假圖片 • 丟入 Discriminator 進⾏辨別 • 回頭修正 Generator 參數 • 點我訓練 GAN 背後數學 • 使得產⽣出的隨機變數分布 z 趨近於真實分佈 x • 修正「你的紅⾊跟我的紅⾊是不是同個紅⾊」 • 點我進入可視化 GAN Lab
- 36. Mycena - 深度學習從NN 到 嗯嗯 GAN 應⽤ Image Credit: generative models ArchiGAN(Nvidia‘19) 使⽤ GAN 模型，給定房屋結構（⾨⼝、窗 ⼾），之後⽣成格局，例如：廚房、客廳、臥 室等，且不規格狀結構都可以。 ID-CGAN('19) 去除雨霧獲得新圖像。
- 37. Mycena - 深度學習從NN 到 嗯嗯 RL 37
- 38. Mycena - 深度學習從NN 到 嗯嗯 RL 觀念 Image Credit: The promise of Reinforcement Learning 這裡上嬰兒與環境互動學習過程
- 39. Mycena - 深度學習從NN 到 嗯嗯 RL 架構 基本原理 • 代理⼈(agent) - 做出⾏為、得到獎勵、觀測世界的東⻄ • 環境(Environment) - 代理⼈互動的世界 • 狀態(state) - 描述世界⼀切的物體 • 動作(Action) - 代理⼈可以執⾏的⾏為 • 獎勵(Reward) - 代理⼈與環境互動後得到的回饋 Image Credit: The promise of Reinforcement Learning 學習過程 代理⼈透過有限的⾏為選項，來與所處的世界互動，從⽽改變 ⾃⾝狀態，並得在環境所給予的反饋。 好比說，嬰兒看到⼤⼈無法開⾨，以及想要開⾨這件事情，⽽ 根據之前學習到的經驗，來執⾏開⾨這件事情。
- 40. Mycena - 深度學習從NN 到 嗯嗯 RL 應⽤ CNN+RL 應⽤(DQN’13) 使⽤ CNN 模型讓電腦認得當下世 界，從⽽學習到狀態，使得 Mario 學 習在特定狀態下應該執⾏的動作。 CityFlow(WWW’19) 使⽤ Multi-Agent RL 來模擬⼤規模城 市交通環境，藉此了解城市資源調 度、流量分配問題
- 41. Mycena - 深度學習從NN 到 嗯嗯 延伸議題 41
- 42. Mycena - 深度學習從NN 到 嗯嗯 公平性(Fairness) Garbage In Garbage Out：資料本⾝ 就因為分佈關係，影響訓練結果。 例如現有資料多數 CEO 男性，所以 模型推薦 CEO 三個字後⾯需有個男 性符號 資料本⾝存在偏⾒ 模型決策影響市場 由於薪⽔偏低，導致⼈們在申請信⽤ 卡時，因為信⽤點數偏低，導致審核 不通過，或是無法申請的窘境 研究⽅向 • 建立公平系統 • ⾃我審查資料分布 • 檢驗結果是否公平 • Google toolkit • LinkedIn Toolkit
- 43. Mycena - 深度學習從NN 到 嗯嗯 欺騙模型(Cheat) 訓練好的模型在針對新進資料時，抗 噪能⼒普遍偏低，可以說是對整體訓 練資料 overfitting。 模型抗噪能⼒ ⾃駕⾞辨識信號時，若信號帶有污 點，將任做其他符號。有⼼⼈⼠可以 使⽤⼤量假資料來訓練有毒模型 可預期危險
- 44. Mycena - 深度學習從NN 到 嗯嗯 ⾳樂、影片、⽂章攏是假的 我們快畢業了，那麼接下來的事我們就來看看那些做這些⼯作的，有什麼需求我 們來寫這些⼯作的需求我們，我們也可以在這裡學到更多的知識，因為我們只是 ⼀個需要⼯作的⼈⽽已。這裡也同樣需要⼀個專業的⼯作室，⽽我們也需要更多 的需要與之的⼯作環境，以及每個需求的⼯作。根據我們的喜好來看，企業的員 ⼯薪酬是⾼於其他需求的，所以企業的需求是⾼於本職位的。我們的需求是⾼於 本職位的，所以我們需要對⾃⼰的⼯作有⼀個全新的認識。 ⼀身⾛四海，萬事付悠悠。 貧病不相棄，肆寒難⾃謀。 風霜欺病骨，煙⾬暗歸愁。 近⽇思歸夢，空台南望留。 近年來運算能⼒普及，演算法⼤量產 出，⼈們不再擁有專家背景，也可以 使⽤效果驚⼈的模型。 例如：讓模型產⽣出⾳樂、讓畫像⼈ 物動起來，使機器寫⼼得⽂、做古詩 模型到處有，作品四處⽣ 假新聞氾濫、假圖片流竄等問題，也 可因為模型普遍性⽽被⼤量產出，需 要有演算法去辨識或是替⽣產資料進 ⾏標記，使得⼈們知曉該作品屬於模 型產出。 急需擁有辨識演算法
- 45. Mycena - 深度學習從NN 到 嗯嗯 今⽇⼼得