SlideShare a Scribd company logo
音と画像に基づくインタラクティブ飛行船ロボット
の開発に関する研究研究
調和系工学分野 西村 絢子
背景
 インタラクティブロボット研究
AIBOの福祉施設における利用
ASIMOを用いた受付応対ロボット
 小型飛行船の自律飛行システム研究
小型カメラによる位置情報獲得システム
PD制御によるホバリング制御システム
搭載カメラからの画像情報を用いた自律飛行船
の位置制御に関する研究[角田2003]
• 三次元移動が可能,ヘリコプター・気球と比べ扱いが容易で安全
• ペイロードに限界がある,制御系設計が困難な動特性
AIBO PaPeRo
三次元移動が可能な
インタラクティブロボットは
実現されていない
目的
DAコンバータ
プロポ
プロペラの
出力
PC
円柱型小型飛行船
センサ情報 電圧値
人間の呼びかけに
反応して動作する
小型飛行船
インタラクティブ飛行船ロボットの開発
高所からの観測,人間の進入が困難な場所での点検作業
エンターテインメント
成果を実用的な用途へ応用できる可能性
プロペラ
ユニット
呼びかけのセンシングに関する設計
誰でも簡単にインタラクション可能
小型・軽量なセンサ
• 誰にでも出せる音を使用し音認識を行う
• リアルタイム処理可能
音 ワイヤレスマイクを使用
単発衝撃音
(拍手音など)
0
2
4
6
8
10
12
音強度
拍手音の音強度
単発衝撃音の特徴
• 急激な音強度変化
• 指数減衰
0
2
4
6
8
10
12
0 10 20 30 40 50 60
音強度
時間経過[sec]
音
強
度
雑音との区別
単発衝撃音の特徴を
検出し音認識を行う
拍手音の認識
閾値以上の音強度を伴った
単発衝撃音を検出する
拍手音は音が大きい
足音などの雑音と区別
飛行船ロボットの動作設計に向けて
位置情報が必要
ホバリング制御導入
画像
飛行船の動特性
• 慣性・空気抵抗が大きい
• 気温・気流等の影響を受けやすい
小型カメラを使用
制御が無い状態では定位置に留まることが困難
地上のランドマークを検出し位置情報獲得
ホバリング制御を基礎とした基本動作の設計
基本動作 ホバリング ホバリングホバリング
複雑な動作を安定に長時間実行可能
基本動作
基本動作を実行するためにホバリング制御の精度向上
ホバリング制御
カメラ画像
• カメラ画像から2つのランドマークを検出
• 現在の三次元座標、ヨー角度を算出
• 目標地点・目標角度との偏差が0になるようPD制御を行う
X軸
)
)(
)((
dt
tde
TDteKP 
 Y軸
(右)
)
)(
)(()(
dt
tde
TDteKPtm x
xxxx 
Z軸 )
)(
)(()(
dt
tde
TDteKPtm z
zzzz 
制御式
)
)(
)(()(
dt
tde
TDteKPtm
y
yyyy X
軸Y
軸
Z
軸
Θ
Θ:ヨー角
目標地点に留まらせる・ヨー角回転を抑制する
Y軸
(左)
)
)(
)((
dt
tde
TDteKP 
 )
)(
)(()(
dt
tde
TDteKPtm
y
yyyy 
*TD*KP 比例ゲイン)(* tm 操作量 )(* te 制御偏差 微分時間
ホバリング制御におけるプロペラ駆動手法
プロペラ駆動手法 : 200[msec]毎にOn-Off
プロペラ駆動手法 : 300[msec]毎に駆動時間割合変化
小さな推力も発生可能にする必要性
距離偏差が増大
→ ランドマークを見失い制御不能
ホバリングできない
駆動時間割合[%]
最大値
最小値
頻出値
推
力
[g]
20 40 60 80 100
0
1
2
3
4
実
際
の
映
像
推力変化
時間の流れ
300
[msec]
60
[msec]
• プロペラはOn-Offしか出来ない
• 制御量決定に200[msec]以上必要
• On-Off切替は60[msec]が限界
制
約
0
20
40
60
80
100
120
200[msec]毎On-Off
駆動時間割合変化
距離偏差
[cm]
経過時間[sec]
0 5 10 15
-30
-20
-10
0
10
20
30
40
0 5 10 15
200[msec]毎On-Off
駆動時間割合変化
経過時間[sec]
ヨー角度偏差
[deg]
小型カメラの
画像から算出
算出される連続な制御量 閾値を設定しOn-Offを決定
算出される連続な制御量 駆動時間割合
ホバリング制御の安定性評価
距離偏差が50[cm]以内
ヨー角度偏差が±20[deg]以内
ホバリング制御
距離偏差の安定性
ヨー角度の安定性
• 動作設計の基礎
• 安定性評価基準が必要
目標地点に留まることが出来ているか
次の基本動作を行う際に障害にならない精度
回転が抑制されているか
ホバリング 基本動作基本動作
飛行船ロボットの基本動作設計
180度回転
10秒回転
上昇・下降
• ホバリング制御を基本
• ランドマークを見失いにくい
• 見た目が分かりやすい
• 組み合わせることが出来る
基本動作設計における制約条件
ランドマークを見失った場合
上昇してランドマークを発見し,ホバリング制御を行う
ヨー角の回転
10秒後目標角度で停止
基本動作の安定性評価
連続して基本動作を続ける必要性
: 基本動作後に安定したホバリングが出来る評価基準
10試行の動作テスト → 評価基準を満たした割合
1分程度かければ再度ホバリング可能 → 各基本動作実行可能
上昇 下降 180度回転 10秒回転
On-Off制御 0.1 0.0 0.1 0.0
駆動時間制御 0.8 0.7 0.7 0.7
各基本動作の安定性評価結果
各試行において中性浮力調整の程度に差
基本動作 ホバリングホバリング
時間
15秒
ホバリング安定性評価
• 安定までに30秒~1分程度要した
• ランドマークを見失った • 中性浮力調整の著しい誤差
• 強い外乱
飛行船ロボットの動作遷移
ホバリング
高度3m
ホバリング
高度2m
初期状態
 確率的動作遷移モデル
異なる動作遷移確率
• 単発衝撃音1回
• 単発衝撃音2回
(1.5秒以内に2回目の音を検出)
上昇
下降
無反応 無反応
180度回転 180度回転
360度以上回転 360度以上回転
0.30.3
0.3
0.3
0.3 0.3
0.1 0.1
0.2 0.2
0.2 0.2
0.1 0.1
0.5
0.5
インタラクティブロボットとして意外性のある動作が重要
デモ
まとめ
 飛行船ロボットの基本動作を考案し実現した
 誰でも簡単に飛行船ロボットとインタラクションできるように
単発衝撃音認識システムを実現した
 飛行船ロボットの意外な反応を実現するために
確率的動作遷移モデルを実装した
人間が出す音に反応して動作する
インタラクティブ飛行船ロボットを構築した

More Related Content

Viewers also liked (20)

matsumoto m
matsumoto mmatsumoto m
matsumoto m
 
minagawa b
minagawa bminagawa b
minagawa b
 
honda b
honda bhonda b
honda b
 
katayama b
katayama bkatayama b
katayama b
 
imagawa b
imagawa bimagawa b
imagawa b
 
mori b
mori bmori b
mori b
 
yamagata m
yamagata myamagata m
yamagata m
 
kataoka m
kataoka mkataoka m
kataoka m
 
kataoka b
kataoka bkataoka b
kataoka b
 
iwasaki b
iwasaki biwasaki b
iwasaki b
 
matsui m
matsui mmatsui m
matsui m
 
nishioka b
nishioka bnishioka b
nishioka b
 
nishioka m
nishioka mnishioka m
nishioka m
 
takahashi m
takahashi mtakahashi m
takahashi m
 
sakamoto b
sakamoto bsakamoto b
sakamoto b
 
maruyama m
maruyama mmaruyama m
maruyama m
 
kadota m
kadota mkadota m
kadota m
 
onodera m
onodera monodera m
onodera m
 
kita b
kita bkita b
kita b
 
yamagata b
yamagata byamagata b
yamagata b
 

More from harmonylab

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
harmonylab
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
harmonylab
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
harmonylab
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
harmonylab
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
harmonylab
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
harmonylab
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
harmonylab
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
harmonylab
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
harmonylab
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
harmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
harmonylab
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
harmonylab
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
harmonylab
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
harmonylab
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
harmonylab
 

More from harmonylab (20)

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 

nishimura m