適応アルゴリズムとコミュニケーションロボット

SUGAR SWEET ROBOTICS CO., LTD.
適応アルゴリズムと
コミュニケーションロボット
菅佑樹
(株式会社SUGAR SWEET ROBOTICS代表取締役)
(早稲田大学ヒューマノイド研究所招聘研究員)
(芝浦工業大学SIT研究所客員研究員)
(東京大学情報理工学系研究科大学発新産業創出拠点
プロジェクト特任研究員)
1

自己紹介
2

自己紹介
• 菅　佑樹 (Yuki Suga)
• 2012〜～株式会社SUGAR SWEET ROBOTICS代表取締役
• 2010〜～2012 株式会社リバスト
• 2007〜～2010 早稲⽥田⼤大学総合機械⼯工学科助⼿手 (菅野研)
3
http://ysuga.net

http://sugarsweetrobotics.com

林業機械支援システム
学習適応する

コミュニケーション

ロボット
• 2007〜～2010 早稲⽥田⼤大学総合機械⼯工学科助⼿手
4
http://www.sugano.mech.waseda.ac.jp
正面ステレオ
カメラ
走行台車下方カメラ
収穫マニピュレータ
車いす搭載型

ロボットアーム
いちご収穫ロボット
岐阜県・早稲田大学WABOT-‐HOUSE
研究所による
前川製作所との共同研究

• 2010〜～2012 株式会社リバスト
5
アメリカMobile
Robot社

移動台車
Pioneerシリーズ
スイス
Neuronics社

Katana
ロボットアーム
カナダ
Inuktun社

探索ロボット
フランス
Aldebaran
Robotics社

NAO
http://revast.co.jp

• 2012〜～株式会社SUGAR SWEET ROBOTICS
• http://sugarsweetrobotics.com
– ロボットの受託開発・コンサルティング
– RTミドルウエアに関する開発
– ロボット⽤用ミドルウエアに関する講演
6

研究背景
7

研究背景
• 1979年7月31日生（東京都武蔵野市）
• 逆子で帝王切開
• 趣味はレゴブロックや粘土あそび
• 小学校卒業式当時の夢
• 『博士になってタイムマシンを発明し，織田信
長に会いたい』
• 人と同じことをするのが嫌いだった
• いじめられっ子
8

• 1995年早稲田大学高等学院入学
• 1998年早稲田大学理工学部機械工学科入学
• 化学大好きだったのに・・・
• 57号館に飾ってあるWABOTやWL-11を見て
• 2000年菅野研究室入信
• 2足歩行の高西研じゃなく菅野研に
• 2足はASIMOとかでやられちゃったから
9
研究背景

• WAMOEBA班配属
• 本当はモノづくりやりそうなWENDY班
が良かった
• ソフトは得意だけどハードが好きです
10
研究背景

研究背景(WAMOEBAとは何か)
11

WAMOEBAとは何か
• 生物に見られる「心」を持つロボットを作りたい
• If-thenルールによらない行動アルゴリズム「モータエージェン
ト」
• 足回り，首回り，目までをそれぞれ知能モジュールとして考え，相
互に作用させることで行動を生成
12

WAMOEBAとは何か
• 生物に見られる「心」を持つロボットを作りたい
• 生物の根本原理である「自己保存」をロボットに入れた
• 自己保存のために行動する
• 内分泌系を持ち，自己の状態を保持しようとする（ホメオスタ
シス）
13

WAMOEBAとは何か
• 電源の状態に応じて速度を減衰させる
• モータの温度に応じて動きを変更する
• 接触などの突然の刺激に応じて運動の速度を上げる
• 観察の結果・・・・？
14

(俺の) 研究背景
15

研究背景
• そもそも心を持つロボットを作るのはなぜ
か？
• 「パートナー」となるロボットを作りたい
• 飽きない
• 設計者も驚きたい
16

17
着目したWAMOEBAの問題点

着目したWAMOEBAの問題点
• アルゴリズムは自律分散的で，シチュエーション
の複雑さから複雑な行動が生まれる
• チューニングの段階で，設計者の意図がかなり盛
り込まれる
18

研究背景
• ロボットを育てたい
• ロボットを育てながら，自分も育ちたい
• 育ちながら獲得した行動なら，設計者も驚
く？
19

コミュニケーションとは何か
20

コミュニケーションとは何か
• ロボットとコミュニケーションしたい
• 犬と人，猫と人，身体性や言語が違っても
コミュニケーションは出来る
• この意味でのコミュニケーションとは何か？
21

コミュニケーションとは何か？
• Communication = 通信？
• 今論じているコミュニケーションは，単
なる情報伝達ではない
• 伝達することだけでなく，主体の中で起
きていることに着目したい
22

コミュニケーションとは
• 相手の中身を想像しあう過程
23

• ユーザに適応する，とはロボットがユーザの中
身を想像することになる（そう見える）
24

• ユーザは，ロボットがユーザを推定している，と推定
• そこに知能を感じる．面白みを感じる
25

提案手法のコンセプト
26

ロボットはなぜ育つ？
• ロボットは現代に生まれた新種の生物になるんだ！
• ロボットは人間の居る場所で生まれ，育ち，進化す
るのだ！！
• 人間が見向きもしなくなったら生存競争に負けた
27

ロボットってなんだ？
28

• 進化しろ
29

進化って何か？
30

進化とは
• より優秀な生物を作り出す過程・・・
• 優れた遺伝子を選抜する過程・・・
• 進化は進歩とは違う
31

32
• 遺伝子 (gene type)＝生命の設計図
• コピーを作る
• コピーを作る際に，設計図にわずかに変化が起こる（突
然変異 (mutation)
進化とは

33
• 遺伝子に従って発生・成長した生物（表現
型 pheno-type）は，環境にさらされ，淘
汰 (selection) される
進化とは

34
• 生き残った生物が，さらにコピーを残す
進化とは

進化とは
• より環境に適合する遺伝子を選抜する過程
• 環境に適合することは，一つの評価軸でし
かなく，絶対的な優劣はない
• 環境は変動し，変化に適応できなかった遺
伝子も淘汰された
35

進化とは
• 生物は遺伝子の乗り物
• 環境において自己の保存が可能な遺伝子のみが残る
• 環境は変化する
• 利他的行動すら遺伝子の保存に関連付けて説明で
きる
• リチャードドーキンス「利己的な遺伝子
(Selfish Gene)」
36

進化心理学
• 人間の社会学的・心理学的な傾向は進化の過程から説
明することができる
• 互恵的利他主義・協力関係
• マキャベリ的知性仮説
• 人間の知性的な行動は，社会活動の中での自然
淘汰によって進化した
• 文化も進化する（ミーム）
• 心から心へのコピーの中で，突然変異や自然淘汰が
起こる
37

提案手法
38

ロボットは進化する？
• 人間が見向きもしなくなったら淘汰
• ひたすらに媚をうる？
• 飽きない
39

ロボットの進化
• 進化の力で飽きないロボットを作ろう
• 遺伝的アルゴリズム
• 進化のメカニズムを真似たパラメーター
サーチのアルゴリズム
40

適応学習アルゴリズムのおさらい
41

適応
42
p
F
pmax
• 適応とは，適応度の高いパラメータを求め
ること

山登りのルール
• 山の山麓は見えず，自分の足元しか見えない
• かろうじて，どちらに行けば登るかはわかる
p
F

全探索
• すべてのパラメータを試す
• 地図上の山のすべての場所に行けば，どこが頂上かわかる
• ものすごく無駄
44

最急勾配法
• どちらに行けば登るかがわかるなら，登れる
方向に移動し続ければいずれは頂上に行く
45

最急勾配法の弱点
• 実は自分が登った山は小さい山だった
• 局所解に陥る
46

ランダムサーチ
• ある確率pで正に，ある確率(1-p)で負にパラメータを動かす
• いずれは頂上に着く
• 本当に登れるのかわからない
• 無駄が多い
47

タブーサーチ
• 一度行った場所にはいかない
48

擬似焼きなまし法
• 基本は最急勾配法だが，確率Tで山を下る
• 最初はTを大きくしておく
• 徐々にTを小さくして山を登らせる
49

山登りの新ルール
• 世の中，どっちに行けば山を登れるか，な
んてわからない！
50p
F

強化学習
• 探索する主体を「エージェント」と呼ぶ
• 状態に対応する行動のうち，価値が高いも
のを優先的に選択
51S2
F
B1B2
B1 B2 B3
S1 0.1 0.2 0.2
S2 0.3 0.1 0.1
S3 0.0 0.6 0.1
S4 0.2 0.2 0.4
S5 0.0 0.1 0.1
B3

強化学習
• 選択した行動によって得られる報酬から行
動価値テーブルを更新
52
S2
F
B1 B2 B3
S1 0.1 0.2 0.2
S2 0.4 0.1 0.1
S3 0.0 0.6 0.1
S4 0.2 0.2 0.4
S5 0.0 0.1 0.1

r

強化学習
• 山を登りきらないと報酬が得られない場合
においても，過去の行動それぞれに報酬を
分配する
53

B2
B3
B4 r
• B4
• B3
• B2

進化的戦略
• パラメータを遺伝子とおく
54

進化的戦略
• すべての遺伝子からパラメータを読み出し，環境
への適合度を評価し，適合度が小さいものを淘汰
する
55

進化的戦略
• 残った遺伝子をコピーする
• コピーする際に一定の確率で突然変異を起
こす
56

進化的戦略
• パラメータが多次元の場合は，交配するこ
ともある（交叉・Crossover)
57

進化的戦略
• 評価・淘汰・生成を繰り返す
58

進化的戦略
• 山登りの場合は，自身をコピーして山登り
59

p1 p3 p0 p2

進化的戦略
• どれくらい山を登ったのか評価
60

p1 p3 p0 p2
F1
F3
F0
F2

進化的戦略
• 山を登ったものを残して，再度コピーしな
がら進む
61

p2

p1 p3 p0 p2
F1
F3
F0
F2

進化的戦略
• 遺伝的アルゴリズム等の実装がある
• 大域的な探索に強い
• ノイズに強い
• 試行回数が多い
62

提案手法
63

提案手法
• 進化的戦略を使ってロボットの行動に関わ
るパラメータを学習する
• 人間とのインタラクションも含めた評価を
行う
• 対話型進化的計算 (Interactive
Evolutionary Computation, IEC)
64

Interactive Evolutionary Computation
65
Human
Subjective
Evaluation
EC framework
• Selection
• Crossover
• Mutation
Genetic Pool
Human-Interface
• 人間の主観的な評価により，遺伝子の適応度を決める

先行研究
• H. H. Lund et al. 1998
• Evolutionary Robotics -A Children s Game-
• プログラミング能力のない子供でも環境を動き回
るロボットが作れる！
66
( 1 )
( 7 )

ハイブリッド評価法の導入
• すべての個体を評価し続けるのは疲れる
• 一部の評価を自動化した (Human Machine Hybrid Evaluation)
67
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M15
M2
M1
M4
M17M16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M 15
M2
M1
M4
M17M 16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M15
M2
M1
M4
M17M16
M3
M14M13
M5 M6
M7 M8
M9 M10
M11 M12
M15
M2
M1
M4
M17M16
M3
M14M13
Interaction

ハイブリッド評価法 (HMHE)
• 人間が評価する遺伝子の選
出には，自己組織化マップ
を用いた
68

実験と結果
69

HMHE
70
If all genes are
evaluated
Interaction
Self Organizing
Map
Newest
genetic pool
Translator
Human Subjective
Evaluation
The other
genes
Selected
genes
Parameter
Estimation Function
Genetic operators
(Selection)
(Crossover)
(Mutation) Yes
No
Communication
Robot

比較評価を行った
• HMHE・・・100個体，７個体を手動評価
• 従来・・・7個体，７個体を手動評価
71
If all genes are
evaluated
Interaction
Newest
genetic pool
MA Generator
Human Subjective
Evaluation
MA network
Genetic operators
(Selection)
(Crossover)
(Mutation) Yes
No
WAMOEBA-3
If all genes are
evaluated
Interaction
Newest
genetic pool
MA Generator
Human Subjective
Evaluation
MA network
Genetic operators
(Selection)
(Crossover)
(Mutation) Yes
No
WAMOEBA-3
If all genes are
evaluated
Interaction
Self Organization
Map
Newest
genetic pool
MA Generator
Human Subjective
Evaluation
The other
genes
Selected
genes
MA network
Human Evaluation
Prediction System
Genetic operators
(Selection)
(Crossover)
(Mutation) Yes
No
WAMOEBA-3
Reference
If all genes are
evaluated
Interaction
Self Organization
Map
Newest
genetic pool
MA Generator
Human Subjective
Evaluation
The other
genes
Selected
genes
MA network
Human Evaluation
Prediction System
Genetic operators
(Selection)
(Crossover)
(Mutation) Yes
No
WAMOEBA-3
Reference

実験環境
• シミュレータ
• ２体のうち１体を被験者が操作してインタラクション
• 音を出したり，充電したり
• 評価値を入力して次へ
72

行動アルゴリズム
• モーターエージェント
• 各関節の角度が別の関節
に影響
• 各関節間の結合強度（重
み）を遺伝子に記述
73
Ear
Bumper
Sonar
Vehicle
Neck
Eye
Ear
Eye
Bumper
Sonar
Motor-agent network in this experiment

評価値の移り変わり
• HMHEを使った場合の方が有意に高まる
• 通常の場合は評価値が横ばい，時には下がる傾向が
ある
74
* *
* * **

実験中のアンケート
• ３世代ごとにアンケートをとった (日本語NASA-TLX)
• 疲れや飽き，集中困難さで有意な差が見られた
75

評価回数は同じですけど？
• 問題は飽きにある
• 通常の方法 (IEC) では遺伝子の多様性が世代を追うごとに失われ
ていくので飽きる
• HMHEは個体数が大きいので多様性が維持されつつ，被験者の意
向も反映される
76

実機でもやってみた
77

• 被験者がロボットとインタラクションをしながら遊び方を決め
ていく
• 追いかけっこ
• 押し合い
• 音を鳴らす
• 目の前で手を振る
• 複数の遊び方を可能にするには，より複雑な行動生成アルゴリ
ズムを実装しておく必要がありそうだ（以下の実験をした）
• 内分泌系モデルの最適化
• 強化学習アルゴリズムのスーパーパラメータの最適化
• 初期学習をシミュレータで行う実験
78

パートナーに・・・
79

このままでは・・・
• ロボットは人間に全力で媚びを売る存在
• そんなのパートナーじゃない！
• 価値観を押し付けられるだけじゃダメだ！
• 立ち上がれ国民！
80

形態主張型カスタマイズロボットWEAR
81
650mm
850mm
×32

Sonar Bumper
ColorSwitch
Servo
Speaker
PushRollPull
110[kg] 写真はVer.2

時には拒否するロボット
• 32個のモジュールポートを
備え，任意の箇所にロボット
にセンサやアクチュエータを
付加してカスタマイズ出来る
• 各ポートで音声が鳴り，LED
を光らせる
• モジュールを強制的に保持す
るためのラッチと，排出する
ためのスライダーがある
82

• ロボットからの拒否は被験者にどのような
影響を与えるか
• 負の印象を抑えながら被験者を誘導するに
はどうしたらよいか
• どのような被験者なら拒否しても良いのか？
83
形態主張型カスタマイズロボットWEAR

ロボットとのインタラクションと被験者の性格
• ロボットの拒否・受容に一定の法則性を与えても，わ
からない人にはわからない・・・
• わからない人には，インタラクションに向かない形態
を持った機械は知能を感じさせるのが難しい
84

• 被験者の背景によりロボットに期待するものが
大きく違い，カスタマイズ拒否に関する傾向も
違う
• 拒否された場合の次の行動で被験者の傾向が読
みとれそうだ
• 確率モデルでの推論実験
• 拒否だけでなく要求行動についても調査した
• 要求されるとそれを裏切る被験者が多かった
85

さいごに
86

• ロボットは「ロボット」の姿で世の中に出るこ
とはないと思う（出てもジョーク）
• ロボットと人間とのインタラクションは，知能
化していく機械との関わりあい方を示唆してい
る
• 電気自動車
• 家電製品
• 電化された家
• インフラ
87

適応アルゴリズムとコミュニケーションロボット

Recommended

Recommended

More Related Content

More from Yuki Suga

More from Yuki Suga (6)

Recently uploaded

Recently uploaded (8)

適応アルゴリズムとコミュニケーションロボット