Downloaded 74 times
Uploaded byEvan Lin
iThome Modern Web 2018: 如何打造高效的機器學習平台
本文探讨了构建高效机器学习平台的重要性与挑战，包括环境安装、训练数据同步、训练调度优化及数据预处理等问题。使用Kubernetes可以简化资源管理与调度，从而提升整体性能。最后强调机器学习平台将成为下一个关键应用。
![[台灣人工智慧學校] 台北總校第三期開學典禮 - 執行長報告](https://cdn.slidesharecdn.com/ss_thumbnails/opening1-180929011045-thumbnail.jpg?width=640&height=640&fit=bounds)
![[台灣人工智慧學校] 新竹分校第一期開學典禮](https://cdn.slidesharecdn.com/ss_thumbnails/aiahc-opening-180720120102-thumbnail.jpg?width=640&height=640&fit=bounds)
iThome Modern Web 2018: 如何打造高效的機器學習平台
- 1.
- 2. 關於我 ● Linker Networks雲端架構師 ● Golang.tw 共同協辦人 ● 碼天狗策展者
- 3.
- 4. 摘要 ● 何謂機器學習平台 ● 為何你應該打造自己的機器學習平台 ●打造機器學習平台經驗談 ● 如何打造高效的機器學習平台 ● 結論
- 5.
- 6.
- 7. 機器學習流程 (機器學習平台) From “Introductionto Microsoft Azure” by David Chappell
- 8.
- 9.
- 10. Example: Face detection- annotation
- 11.
- 12. 透過圖片輸入可以預測你需要的資訊 Azure Face API:https://azure.microsoft.com/zh-tw/services/cognitive-services/face/
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. 製作機器學習平台常遇到的問題 ● 不易安裝的環境 ● 不易同步的訓練資料 ●無法最佳化的訓練排程 ● 大量的資料前處理
- 19. 買數台 Nvidia GTX1080 Ti
- 20. 安裝 CUDA8 與cuDNN v7 與 Tensorflow GPU Install Nvidia Driver Install CUDA8 binary Build CuDNN v7 from source code Install Tensorflow GPU Refer: https://technews.tw/2017/11/07/ai-server-guidance-2-tensorflow/
- 21. 安裝你常用的工具( console orjupyter notebook)
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. 混亂的訓練環境 - Docker似乎可以解決問題 Python2 Python3
- 28.
- 29.
- 30.
- 31.
- 32.
- 33. 如何共享處理過的資料夾 Refer: Line貼圖 辦公室常用英語https://store.line.me/stickershop/product/1429804/zh-Hant
- 34.
- 35.
- 36.
- 37.
- 38. Dlib 需要至少 68個特徵點
- 39. Kubernetes 讓建制機器學習平台更容易 ● 資源抽象化(Device Plugin) ● 工作排程
- 40. 製作機器學習平台常遇到的問題 ● 不易安裝的環境 ● 不易同步的訓練資料 ●無法最佳化的訓練排程 ● 大量的資料前處理
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51. 具有客製化 pipeline 處理的工作管理員 (modelconvertor)
- 52.
- 53.
- 54.
- 55. Realtime learning andInference
- 56. 總結 ● 機器學習平台是下個世代的 KillerApp ●機器學習平台還有些困難點值得討論 ● 透過 Kubernetes 有效的整合資源，提升整體效能