Download as PDF, PPTX
Uploaded byNVIDIA Taiwan
GTC Taiwan 2017 結合智能視覺系統之機械手臂
达明机器人专注于开发智能视觉系统的机械手臂，致力于推动工业4.0和自动化技术的进步。该公司通过自主研发的高自制率产品，提升人类生活质量，减少传统行业的不便与危险。未来，达明机器人将持续创新，探索基于深度学习的手臂应用，以实现人机协作的最大潜力。
More Related Content
![[DL輪読会]Understanding Black-box Predictions via Influence Functions](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksinffunc-170822055634-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to GTC Taiwan 2017 結合智能視覺系統之機械手臂
GTC Taiwan 2017 結合智能視覺系統之機械手臂
- 1. NVIDIA GTC Taiwan2017 結合智能視覺系統之機械手臂 達明機器人 黃鐘賢(David) 2017/10/26 A leading company in collaborative robot and vision technologies. TECHMAN ROBOT INC.
- 2. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 2
- 3. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 3
- 4. 關於 TM 隸屬於廣達集團底下的廣明光電，於1999年成立至今通過多家國際大廠認證，並成為全球主要電腦週邊儲存產品供應商。面臨全球產業急速轉 型，廣明光電持續不斷的產業創新，長期耕耘產業市場的我們，深刻了解傳統工業型機器人帶來的不便，致力於改善現況，並希望將機器人技術 真正導入至各產業的應用。 因此，憑藉著卓越的研發能力，我們於2012年一舉踏入機器人研發領域，在研發的過程中，投入上百位專家學者的 努力，專注於提升自動化領域的發展，在總經理何世池的帶領下，短短四年的時間推出自創品牌─達明機器人Techman Robot，成為台灣第一 的協作型機器人先鋒；擁有高達九成的產品自製率，並搭載可與國外大廠媲美的視覺辨識系統，突破傳統工業型機器人的窠臼。Techman Robot 品牌取自科技Tech，願景為提升並改善human人類的生活：Apply TECHnology to enrich huMAN Life等同於協作機器人的定義：在生產 線達到人機協同工作，讓人類遠離3K產業─骯髒、危險、辛苦的工作環境，並大規模提升生產效率。 在全球高呼工業4.0的同時，物聯網時代與 雲端運算的時代的來臨，我們專注於提升自動化領域的發展，讓協作機器人成為新時代的利器，創造世界改變的無限可能。 核心價值 從一開始我們就決定要走不一樣的路 ---- 達明機器人 何世池 在全球高度關注傳統工業型機器人的同時，協作機器人才剛起步，因為研發技術門檻高，讓許多要投入的廠商望之卻步。但我們毅然決然選擇投 身業界，一步一腳印從設計、研發到生產，高達九成的產品自製率是我們的要求，最扎實的基本功才能提供可靠的解決方案。 未來展望 如同Techman Robot品牌所闡述的：Apply TECHnology to enrich huMAN Life 我們致力於成為改善人類生活的推手，從專注於自動化領域的發 展為起點，踏入工業4.0智慧機械的核心，創造世界改變的無限可能。
- 5. Confidential 5 2012 2013 Dual SCARA誕生 2014 ISD研發處改制 為事業處 SCARA捐贈機 器人協會 TM5誕生 2015 TM5 正式發 表於東京iREX TRI正式成立 上海CIROS參展 取得MSFT IoT認證 台灣TAIROS參展 上海工業博覽會參展 台灣正式開賣 2016 中國地區開賣 德國漢諾威展 4/24 ~ 4/28 台灣TAIROS 9/6 ~ 9/9 上海工業博覽會 11/7 ~ 11/11 東京 iREX 11/29 ~ 12/2 2017 廣明內部成立 Robot小組 Label AOI 廣明內部成立 ISD研發處 QSI SCARA 誕生
- 6.
- 7.
- 8. Smart, Simple andSafe 8
- 9.
- 10. Confidential只要將左邊的Icon拖曳到畫布中，然後放開，Node就會生成 n UI ---Flow chart concept n 無程式經驗者也可以簡單操作完成任務 Simple 簡單 10
- 11. Confidential n 使用FreeBot佈點- 按鈕配置 FreeRobot 按鈕 新增點位 按鈕 佈視覺任務 按鈕 Simple 簡單 11
- 12.
- 13.
- 14. Confidential n TM機器人符合ISO 10218-1人機協作安全要求 n當手臂碰撞到物體或人體時，會立即停止 n 完成安全評估 (ISO 10218-2)後, 無需於周邊加 裝圍籬 n 已通過CE認證, 符合最新規範TS 15066 Safe 安全 14
- 15. Confidential n 碰撞即停, 且可直接再啟動,無須回原點 n 再啟動後精度維持不變, 無須重新教點 Safe 安全 15
- 16.
- 17. Confidential Smart 智能 TM5 VisionSystem n 內置視覺系統，無須擔心如何整合複雜 的視覺組件 n 自動矯正視覺系統的參數 n 物件偵測、影像增強、條碼讀取 n 使用簡易的用戶介面實現自動化任務 n 核心辨識與定位模組透過GPU加速 n 基於深度學習之文字辨識模組(OCR) 17
- 18. Confidential Smart 智能 Our firstvision patent 18 Robot calibration apparatus for calibrating a robot arm, US 9193073 B1
- 19. Confidential TM5 Vision System- Positioning Eye-in-Hand相機定位: 隨看隨取，無繁雜之相機架設與校正 問題 Eye-to-Hand相機定位: 根據視野、解析度需求搭配工業相 機，彈性大；且可於手臂運作時同步辨識，減少Cycle time Upward-looking二次定位: 持物後透過相機做二次補償，提升 定位精度 流水線追蹤: 透過外部相機做流水線追蹤，可動態取物 TM Landmark定位: 透過TM Landmark建立座標系統，無須煩 惱手臂與周邊相對關係之變異。 自動對焦相機 10cm 無窮遠 TM Landmark Smart 智能 19
- 20. Confidential TM5 Vision System- Positioning Smart 智能 20 無視覺之機械手臂: 座標定義在Robot Base上，若手臂與環境位置有所變 動時，所有點位均無法使用 TM Robot: 可將座標系統在TM Landmark上，不須擔心手臂與環境點位 相對關係改變，只須看一眼，所有點位即可動態更新，應用彈性大，尤 其適合於AGV上之應用。 P1 P2 P3 P1 P2 P3 TM Landmark
- 21. Confidential TM5 Vision System- Inspection Smart 智能 21 對比增強 色彩平面 影像平滑化 影像二值化 形態學 樣板比對(輪廓特徵) (accelerated by GPU) 不規則物件 偵測 定位點對齊 樣板比對(影像特徵) (accelerated by GPU) 影像強化模組 物件定位模組 辨識模組 量測模組 1D與2D條碼讀取 顏色分類模組 姿態偏移偵測(輪廓特徵) 姿態偏移偵測(影像特徵) 特定色彩面積 減去參考影像 直線上毛邊檢測 圓形上毛邊檢測 文字辨識 (based on DL) 計數(不規則物件) 計數(輪廓特徵) 計數(影像特徵) 邊緣計數* 距離與角度量測* 數字OCR* (based on DL) * will release by End of 2017
- 22. Confidential TM5 Vision System- Inspection Smart 智能 22 一維與二維條碼讀取 使用特定色彩面積計算液體容量 物件計數 距離與角度量測 使用毛邊檢測功能判斷IC損件 辨識7段顯示器數值
- 23. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 23
- 24. Confidential Be Smart atEdge – 手眼力協調之機械手臂 24 Intruder detection is running on GPU with 30 frames/s
- 25. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 25
- 26. Confidential Be Smart amongRobots – 多手臂協作 26
- 27. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 27
- 28. Confidential Be Smart atCloud – 智慧工廠, RMS 28
- 29. Confidential Outline n 達明機器人簡介 –Smart, Simple and Safe n Be Smart at Edge – 手眼力協調之機械手臂 n Be Smart among Robots – 多手臂協作 n Be Smart at Cloud – 智慧工廠 n Be Smart in the Future – 基於深度學習之手臂應用 29
- 30. Confidential AI is coming! 類別公司 視覺技術擴展至深度學習的導入 併購or投資合作的對象 內部研發 機器視覺 (Machine Vision) Cognex ViDi Halcon In-House R&D (2016導入深度學習OCR) 工業機器人 (Robotics) Fanuc Preferred Network ABB Vicarious Kuka Huawei 台灣廠商 (TAIROS 2017) 所羅門 In-House R&D (Inspection, Bin Picking) 台達 In-House R&D (Inspection) n Cognex收購機器視覺深度學習公司ViDi (2017/04) n Fanuc投資深度學習技術開發公司Preferred Network (PFN) n ABB投資AI新創公司Vicarious n Kuka與華為展開深度學習合作 30
- 31. Confidential Is Paradigm shifting?From sense-plan-act to AI n Google: Deep learning for robots (Early of 2016) n Over 800,000 grasp attempts (3000 robot-hours of practice) 31 Source: https://research.googleblog.com/2016/03/deep-learning-for-robots-learning-from.html
- 32. Confidential FANUC's Bin-picking byDeep Learning (2015 iRex) 32 Source: https://www.youtube.com/watch?v=ydh_AdWZflA
- 33. Confidential Data Collection: 使手臂隨機選取吸取點，紀錄吸取點周圍影像 及每次吸取成功與失敗，建立data base ModelPrediction: 將training好的model實際應用，model學習判斷 該點的吸取成功機率，以此挑選當下最高成功機 率吸取點 目的:箱體內堆疊物體，不需CAD Model與segmentation，以deep learning學習 可以成功吸取的點位，主要階段分成三部分。 Deep Learning Model: 將收集到的data base作為input進行training， 調整model架構與參數使其學習到取物目的 TM’s trail 33
- 34. Confidential AI-based Bin PickingDemo Random Sampling Model Prediction (5000+ positive samples) 34
- 35. Confidential Is AI readyfor commercialization? n 傳統作法 1. 相機、手臂校正 2. 物件3D建模或由CAD檔匯入 3. 辨識參數調整 4. 取物姿態教導與箱體防撞姿態迴避 n 產品變異性高，需與夾爪或吸嘴設計相配合 n 物體可能有一個到數個可取物的姿態 n 對稱性工件 n 點雲未必能完美成像 n 與手臂控制相關 n 箱體防撞，箱體越深越困難 n 到取物點的軌跡規劃 n 終端客戶無法忍受長時間的訓練與學習 n 簡單的教導、逐漸提高成功率 n HI (Human Intelligence) + AI 35
- 36. Confidential Smart 2D/3D Sensor AI-poweredRobot 2D/3D Vision • Object detection • Pose estimation • Inspection Hand/Eye/Force • Force control • Path planning • Grasping point identification • Task scheduling Zero-shot Learning • Detect and grasp unknown objects Simulation • Training/learning in virtual world • Knowledge transferring Cooperation among Neural networks 36 * Inspired by Prof. Chun-Yi Lee, NTHU
- 37.