Robot 解析

自我介紹
• 黃弘偉，四年鴻海肝鐵人
• 座右銘
– never try, never know
• 經歷
– 3個月的客服機器人
– 3個月的手機機器人
– 平常寫寫AP、資料分析、打雜…

2年前，我在機器人展覽...
3
工業機器人
寵物機器人
教學機器人
家用機器人
探勘機器人服務機器人
偶像機器人
娛樂機器人
運動機器人

全場焦點
• Pepper
– 由法國 Aldebaran Robotics 開發
– Linux based + Robot OS
– 前身
• 雙足機器人 NAO
• 主要為學術研究
• 30萬左右
– 軟銀 + 鴻海 + 阿里巴巴
• 推向市場
• 企業 -> 開發者 -> 消費者
4
雙足 -> 3 個萬向輪

RoBoHoN開頭
• Video
– RoBoHoN - 月薪嬌妻跳舞
• https://twitter.com/bluemidorin/status/808659732487512064
7

Outline
• RoBoHoN 是什麼?
• RoBoHoN – Motion
• RoBoHoN – Voice
• RoBoHoN – Vision
8

機器人之父
高橋智隆
東京大學研究副教授， Robo Garage創始人兼CEO，大阪電子通信大學客座教授。
Robi 週刊
Kirobo

於是機器人手機誕生…

RoBoHoN 是個什麼樣的概念?
Robot Phone
Android based + Proprietary lib

RoBoHoN 介紹
• Video
– RoBoHoN 介紹
14

RoBoHoN – Motion
• Parts of the Motion
– 頭部
• 3 個伺服馬達
• 2 眼睛 LED
• 1 嘴巴 LED
– 腳步
• 各 3 個伺服馬達
– 手部
• 各 2 個伺服馬達
– 共 13 個可動部位
Head Pose Angles

RoBoHoN – Motion
• Servo motor
– 日本並木精密寶石研發
– 世界最小的 Servo motor
– 離合器 + 伺服電路 + 馬達
– 單價 24 美元
– 312 美元（＝ 24 ×13）
比一般小23%
37.5Kg

20個伺服馬達
13個伺服馬達

RoBoHoN – Motion
• 動作
– SHIN-Walk 專利
• Robi Video
• RoBoHon Video
19

RoBoHoN – Motion
• Video
– The Robi Walk.mp4
• https://www.youtube.com/watch?v=AOdwe-GJIi0
– SHARP RoBoHoN Action (Walking) 4K
• https://www.youtube.com/watch?v=F9aWMXDD-ZY
– SHARP RoBoHoN Action (Sitdown) 4K
• https://www.youtube.com/watch?v=r0WgqrnCH00
– SHARP RoBoHoN Action (Standup) 4K
• https://www.youtube.com/watch?v=tX6Y3YJFdns
– SHARP RoBoHoN Action (Take Picture) 4K
• https://www.youtube.com/watch?v=b-FqT0TWgHc
20

RoBoHoN – Motion
• 動作怎麼出來的?
– 時間軸 + 13個伺服馬達狀態
– 用 Robot Emulator 拉
– 用手扳
– State Machine
21
Walk Greet
Stand
Dance

交友軟體暗藏Bot
23
就一堆妹子
密你
你覺得
春天到了但…
免費會員只
能講一句話

交友軟體暗藏Bot
24
為了終身幸福
你儲值了…
面對女生強
烈的追求…
對方
人間蒸發

Chatbot
• 生活周遭開始出現 Chatbot?
25
Garbage In, Garbage Out
Keyword Handling
一問一答

RoBoHoN – Voice
• Video
– RoBoHoN 輪唱
來源: https://www.facebook.com/robohon.jp
27

RoBoHoN – Voice
附近
景點
拍照
打電話
天氣
推薦
歌曲
起床嚕
今日
行程
今日
行程
生日
快樂
聲紋/語音辨識
學習使用者行為
好感系統

Cloud
語音辨識引擎
語音辨識伺服器
語音辨識資料庫
辨識結果
HVML 對話引擎
對話腳本
對話劇本資料庫
劇本選擇命令解析
語音/聲紋辨識引擎
運動控制聲音合成
降噪
從 Mic 聲音輸入
對話劇本伺服器

RoBoHoN – Voice
• Microphone 配置
– 頭部配備3個
– 軀幹配備1個
– 一般手機配置2個
• 為了加強收音跟消除噪音使聲音清
晰，語音識別

RoBoHoN – Voice
• 降噪 (Noise Reduction)
– 噪音抑制訊號
• 噪音的反向波
噪音抑制訊號
31

RoBoHoN – Voice
• Beamforming
32

RoBoHoN – Voice
• 語音活動偵測 (Voice activity Detection)
– 介紹
• 語音片段分為靜音段、過度段、語音段、結束。
• 擷取語音段
– VAD算法：
• 短時過零率與能量閥值
• 頻域變異數與Entropy
• 分類器，GMM?
33

RoBoHoN – Voice
• 自動語音識別 (Automatic Speech Recognition)
• 基本模型架構
– 音素 -> 拼音 -> 文字
– 特徵提取
• 分幀
• 特徵向量
– 模式訓練/匹配
• 聲學模型 (acoustic model) : 音素 -> 拼音
• 字典 (dictionary) : 拼音 -> 文字
• 語言模型 (language model ) : 語言統計規律
34

RoBoHoN – Voice
• HOYA 語音合成技術
– VoiceText
– HMM-based
35
「語音識別是技術、語音合成是藝術」

RoBoHoN – Voice
• HVML
– HVML = Hyper Voice Markup Language
– XML - compliant language
– Scenario Dialogue Technology，情境對話腳本
36
<hvml version="2.0">
<head>
<producer>jp.co.sharp.sample.simple</producer>
<situation topic_id="0001" trigger="user-word">Hello eq ${Lvcsr:Basic}</situation>
</head>
<body>
<topic id="0001" listen="false">
<action index="1">
<speech>Hello. Jin Cheng Wu.</speech>
</action>
</topic>
</body>
</hvml>

RoBoHoN – Voice
• AIML
– AIML = Artificial Intelligence Markup Language
– XML - compliant language
– 樣版比對
37
一個商業版的語料庫，有80萬句以上
SoundHound

RoBoHoN – Voice
• Android 語音識別
– Android L 後新增加的功能
• 檢測到關鍵字語句，做出對應動作
– Android SoundTrigger
• keyphrase detection
• 例如: OK Google
38
SoundTrigger
HAL
SoundTrigger
APP
onRecognition
Hardware

RoBoHoN – Voice
• Android 語音識別
– SoundModel
• 音素網路
• 關鍵詞短語的特徵
• 個用戶的語音的特徵
– 一個鲁棒性的 SoundModel
• 需要不同念法
• 需要不同性別
• 需要不年齡層
• 樣本數 100 人以上
39
HH
AE
IH IY Y
“Hey”

如果你想充實這方面的知識…
• 深度學習零基礎進階 - 雷鋒網
– 深度學習的“聖經”
– 建立深度學習的知識網
– ImageNet 革命
– 語音辨識大法好
– 等等
40

如果你想開發相關 AP…
• 首先你要有一台 RoBoHoN
– 然後去官方下載 SDK
41

RoBoHoN - Vision
• RoBoHoN 的電腦視覺
– 喚醒時
• 偵測是不是主人
– 拍照時
• 偵測人臉與微笑
– 瀏覽照片
• 評論照片內容
– 照片有幾個人
– 照片有嬰兒或寵物
– 照片的人笑得很開心
– 照片什麼時候拍的
– 照片在哪裡拍的
44
EXIF

RoBoHoN - Vision
• Omron - OKAO Vision
– 「OKAO」是日文的「臉」的意思
– 功能
• Identify faces and people's position
• Hand gesture recognition and hand detection
• Find facial parts
• Beautify a face
• Recognize facial details
• Understand images

RoBoHoN - Vision
• Identify faces and people's
position
– Face Detection
– Human Body Detection
– Object Tracking
46Haar-like + Adaboost + Cascades

RoBoHoN - Vision
• Applications
– AF(Auto focus) / AE(Auto Exposure)
– Lighting correction
– 活動區域
47

RoBoHoN - Vision
• Hand gesture recognition and
hand detection
– 手部與臉部的相對位置，是重要的
參考依據
– 透過追蹤手部運動軌跡
48

Kinect V2 - Vision
• RGBD 攝影機 + 骨架追蹤
– 超猛!
49

RoBoHoN - Vision
• Facial parts detection, face
direction estimation
– Face parts contour detection
– Gaze & Blink Estimation
• Applications
50

RoBoHoN - Vision
• Beautify a face
– Smart Beautifier
– Eye Enlargement and Eye
Beautifier
– Red-Eye Reduction
– Other correction functions
51

RoBoHoN - Vision
– Face Recognition
• 人物搜尋與認證
– Gender & Age Estimation
52

RoBoHoN - Vision
– Baby Recognition
• 0~3歲嬰兒的評估
– Smile Degree Estimation
53

RoBoHoN - Vision
– Expression Estimation
• neutral, happiness, surprise,
anger and sadness
54

RoBoHoN - Vision
– Pet Detection
• Can detect the faces of dogs and
cats.
• 犬系人 V.S 貓系人
55

RoBoHoN - Vision
– Applications
• 圖片搜尋
• 圖片評論
• 微笑拍照
56

RoBoHoN - Vision
– Scene recognition
• Can recognize 7 scenes including
scenery, flower, cooking, snow,
sunset, night and twilight.
– Subject detection
• Can detect the main subject in
the image automatically
57

RoBoHoN - Vision
– Applications
58

Robot 解析

Recommended

Recommended

More Related Content

Featured

Featured (20)

Robot 解析

Editor's Notes