2015 SIG無障礙數位學習研究會議分享

1. 2015 SIG無障礙數位學習研究群專題討論會議
穿戴式視障者視覺輔助辨識系統
使用體感裝置之定向與手勢界面視障輔具
國立臺北科技大學 資訊工程學系 副教授 張厥煒
國立臺北科技大學 資訊工程所 研究生 黃翊庭

2. 大綱
• 穿戴式視覺輔具介紹
• 體感裝置技術介紹
• 功能說明與使用情境
• 路標識別與物品辨識
• 障礙物偵測提醒
• 運作流程與技術原理
• 總結與展望

3. 穿戴式視覺輔具介紹
• 本 系 統 提 供 定 向 行 動 訓 練 師 (Orientation and
Mobility Specialist)與視障者之間，進行定向訓練過
程時可以使用之教學輔助系統。
• 視障者配戴輔具於身上，可藉由語音方式告知視障者
空間位置及辨識周遭物體等特定生活相關資訊
• 提升自主生活能力，降低意外發生
• 「安全導引」、「掌握環境」

4. 體感裝置技術介紹
PrimeSense 3D Sensing Solution
• Identification of people their body properties,
movements and gestures
• Classification of objects such as furniture
• Location of walls and floor
自然互動 Natural Interaction
• 用最直覺的自然方式，來當作人機介面
• 主要是聽覺或者是視覺，例如「語音」「手
勢」、「身體動作」等等
• 非接觸式自然人機介面

5. 體感裝置技術介紹
2010 Microsoft Xbox360 Kinect
動作體感器，身體就是控制器
PrimeSense Skeleton tracking
人體骨架資訊誕生

6. 功能說明與使用情境
街道陸標辨識
生活物品辨識
障礙物危險警示

7. 街道陸標辨識
陸標圖資管理平台
明眼人/定向訓練師
穿戴式視覺輔具
位置區域

8. 街道陸標辨識
陸標相關資訊描述-標記
文字描述內容：捷運站到了-中山國小站
DB
視障者行走影像資訊

9. 街道陸標辨識案例1

10. 街道陸標辨識案例2

11. 街道陸標辨識案例3

12. 生活物品辨識

13. 生活物品辨識

14. 生活物品辨識案例

15. 障礙物偵測提醒

16. 障礙物偵測提醒案例1

17. 障礙物偵測提醒案例2

18. 障礙物偵測提醒

19. 穿戴式視覺輔具

20. 系統架構
雲
網
端
陸標特徵索引資料庫
雲端伺服器
陸標特徵識別模組陸標特徵訓練模組
影像特徵抽取模組
穿戴式視覺輔具
即時影像串流模組 陸標圖資管理(新增/修改/刪除)
陸標圖資管理平台
陸標圖資相關資訊建置影像特徵識別模組 陸標警示語音模組
影像特徵資訊傳送 陸標圖資傳送

21. 系統流程 系統啟動
即時影像串流
區域定位
擷取單一影像
SURF特徵抽取
區域特徵篩選
SURF特徵比對
比對結果除錯
輸出結果
結束辨識
串流
結束
是
否
陸標特徵學習系統
陸標影像載入
SURF特徵抽取
特徵點篩選與合併
建立特徵索引
SURF特徵資料庫
特徵索引資料庫
穿戴式視覺輔助系統
陸標影像正規化

22. •
•
•
•
•
•
•
•
•
•
•
•
總結與展望

23. 總結與展望
•
•
•
•
•
•
多功能行動視覺輔助裝置
「智慧穿戴」