SlideShare a Scribd company logo
1 of 51
Download to read offline
© KONICA MINOLTA
2021/1/22
コニカミノルタ株式会社 第2デバイス制御開発部
深層強化学習を用いた複合機の搬送制御
DLLAB 強化学習Day 2021
© KONICA MINOLTA
目次
1
• コニカミノルタのご紹介
• 強化学習取り組みの動機
• 強化学習適用のスコープ
• 強化学習適用のステップ
• Step0 状態、行動、報酬を設定する
• Step1 シミュレータ上で用紙を搬送する
• Step2 実際の機械で用紙を搬送する
• Step3 実際の機械で安定的に用紙を搬送する
• まとめ
コニカミノルタのご紹介
© KONICA MINOLTA
コニカミノルタのご紹介
3
※2020年3月31日現在
170社
連結子会社数
約150カ国
セールス/サービス体制
43,961人
従業員数
約200万社
顧客企業数
日本
1,918億円
19.3%
アジア
(日本を除く)
その他
2,303億円
23.1%
欧州
2,942億円
29.5%
米国
2,798億円
28.1%
19年度
売上高
9,961億円
地域別売上高
© KONICA MINOLTA
コニカミノルタのご紹介
4
お客様の
ワークフロー改革を
支援する
ソリューション
を提供
医療のデジタル化を支え
診断のデジタル化に貢献
オフィス事業 プロフェッショナルプリント事業
ヘルスケア事業 産業用材料・機器事業
デジタル印刷ニーズ
に応える最適な
出力ソリューション
を提供
光学・材料技術を結集し
モノづくりに革新を
強化学習の取り組みの動機
© KONICA MINOLTA
6
目指す姿
既存コア技術
(制御、組み込みノウハウ)
エ
ッ
ジ
セ
ン
シ
ン
グ
技
術
多
様
化
す
る
要
望
お客様 制御の自動生成技術
お客様環境の再現
要望の定量化
共
通
動
作
お客様の要望に沿ったメカトロニクス動作を即座に提供する
強化学習適用スコープ
© KONICA MINOLTA
プリンタ
オフィス複合機
プロダクションプリント機
大判インクジェット機
強化学習適用スコープ
8
開発対象製品はA4プリンタから産業用プリンタまで多岐にわたる
© KONICA MINOLTA
強化学習適用スコープ
9
①給紙
②搬送
③現像
⑤定着
④転写
⑥排紙 ・印刷された用紙を排紙して積載する
・用紙を一枚ごとに捌いて印刷部に給紙する
・用紙を真っすぐな姿勢に保ちながら搬送する
・静電気を制御して印刷したい画を作り出す
・静電気を制御して印刷したい画を用紙に移す
・画と用紙に熱を与え用紙に画を定着する
© KONICA MINOLTA
強化学習適用スコープ
10
①給紙
②搬送
③現像
⑤定着
④転写
⑥排紙 ・印刷された用紙を排紙して積載する
・用紙を一枚ごとに捌いて印刷部に給紙する
・用紙を真っすぐな姿勢に保ちながら搬送する
・静電気を制御して印刷したい画を作り出す
・静電気を制御して印刷したい画を用紙に移す
・画と用紙に熱を与え用紙に画を定着する
プリンタ ~ 大判インクジェット機で 共通する用紙搬送技術に適用する
© KONICA MINOLTA
強化学習適用スコープ
11
給紙 搬送 排紙
© KONICA MINOLTA
強化学習適用スコープ
12
給紙 搬送 排紙
停止ローラへの衝突 用紙同士の衝突 進行方向に対するの用紙傾き
進行方向
© KONICA MINOLTA
強化学習適用スコープ
13
2.所定時
間内で所定
の枚数を機
外へ排出す
る
1.用紙に
ダメージを
与えずに搬
送する
用紙を機外へ排
出できること
所定時間内に狙
いの枚数排出で
きること
経路内で搬送中の
用紙が衝突しない
こと
経路内で搬送中の
用紙傾きを補正で
きること
用紙搬送の「真っ直ぐダメージ無く」 「所定枚数」搬送することをスコープとする
目的 要件
強化学習の適用ステップ
© KONICA MINOLTA
強化学習とは
15
エージェント 環境
報酬
行動
状態
AIの一つで報酬を設定して試行錯誤することで学習の精度を上げていく仕組み
機械学習
教師なし学習 教師あり学習
AI
強化学習
ニューラルネット
ワーク
© KONICA MINOLTA 16
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
強化学習の適用ステップ
Step0
状態、行動、報酬
を設定する
© KONICA MINOLTA
17
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
採用
アルゴリズム
狙い
取り組み
• Q学習
• シミュレータ上で強化学習
により自動設計が可能であ
るか確認
• Q学習に必要な用紙位置情
報を仮想センサで対応
• シミュレータ上でQ学習で
動作する搬送環境を構築
• DQN
• シミュレータ上で動作した
学習モデルを使って実際の
機械を動かす
• 実機に合わせたNNを構成
• 実機動作と推論実行可能な
HW環境を構築
• PPO
• 実際の機械で安定的に用紙
を搬送できるかを確認
• 学習すべきバラつき要因を
設定
• シミュレータSim2Real環
境を構築
強化学習の適用ステップ
Step0
状態、行動、報酬
を設定する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
Step0 状態、行動、報酬を設定する
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
Step0
状態、行動、報酬
を設定する
© KONICA MINOLTA
Step0 状態、行動、報酬を設定する
19
エージェント 環境
③報酬
②行動
①状態
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step0 状態、行動、報酬を設定する
20
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
エージェント 環境
③報酬
②行動
①状態
①状態=用紙位置情報、②行動=負荷出力制御(モータ、クラッチ) とする
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step0 状態、行動、報酬を設定する
21
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
用紙位置情報
負荷出力制御
エージェント 環境
③報酬
②行動
①状態
①状態=用紙位置情報、②行動=負荷出力制御(モータ、クラッチ) とする
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step0 状態、行動、報酬を設定する
22
③報酬=「真っ直ぐダメージ無く」 「所定枚数」搬送するための報酬を設定
用紙を1枚排出
できた
1分間に狙いの
枚数を排出でき
た
用紙が衝突した
用紙傾き補正し
ない/できない
+報酬
+報酬
-報酬
-報酬
所定時間内
で所定の枚
数を機外へ
排出する
用紙にダ
メージを与
えずに搬送
する
用紙を機外へ排
出できること
所定時間内に狙
いの枚数排出で
きること
経路内で搬送中の
用紙が衝突しない
こと
経路内で搬送中の
用紙傾きを補正で
きること
目的 要件 報酬定義
Step2 Step3
Step1
Step0
Step1 シミュレータ上で用紙を搬送する
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
Step0
状態、行動、報酬
を設定する
© KONICA MINOLTA
24
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
採用アルゴリズム
狙い
取り組み
• Q学習
• シミュレータ上で強化学習
により自動設計が可能であ
るか確認
• Q学習に必要な用紙位置情
報を仮想センサで対応
• シミュレータ上でQ学習で
動作する搬送環境を構築
• DQN
• シミュレータ上で動作した
学習モデルを使って実際の
機械を動かす
• 実機に合わせたNNを構成
• 実機動作と推論実行可能な
HW環境を構築
• PPO
• 実際の機械で安定的に用紙
を搬送できるかを確認
• 学習すべきバラつき要因を
設定
• シミュレータSim2Real環
境を構築
強化学習の適用ステップ
Step0
状態、行動、報酬
を設定する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
25
Step2 Step3
Step1
メインモータ
排紙CL
給紙CL
給紙R 排紙R
給紙カセット
TmgCL
S1 S2 S3 S4 S5 S10 S11 S12 S13 S14
TmgR
DmmyR
S6 S7 S8
ループ距離
S9
Q学習に合わせて用紙状態を仮想センサON/OFF で表現した
Step0
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
26
メインモータ
排紙CL
給紙CL
給紙R 排紙R
給紙カセット
TmgCL
S1 S2 S3 S4 S5 S10 S11 S12 S13 S14
TmgR
DmmyR
S6 S7 S8
ループ距離
S9
仮想センサの全組合せに対する 行動テーブルを用意して行動する度に更新する
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
27
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
メインモータ
排紙CL
給紙CL
給紙R 排紙R
給紙カセット
TmgCL
S1 S2 S3 S4 S5 S10 S11 S12 S13 S14
TmgR
DmmyR
S6 S7 S8
ループ距離
S9
簡易構成シミュレータ
Step2 Step3
Step1
Step0
Q学習と簡易構成シミュレータにより、学習環境を構築
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
28
-報酬の影響が大きく、+報酬を獲得しても状態価値が維持できず学習が進まない
用紙を1枚排出
できた
1分間に狙いの
枚数を排出でき
た
用紙が衝突した
用紙傾き補正し
ない/できない
+報酬
+報酬
-報酬
-報酬
報酬定義
Step2 Step3
Step1
Step0
タイミングよく
褒たり、叱った
りしてほしい
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
29
用紙1枚ごとの +報酬 を追加することで状態価値を安定することができた
用紙を1枚排出
できた
1分間に狙いの
枚数を排出でき
た
用紙が衝突した
用紙傾き補正し
ない/できない
+報酬
+報酬
-報酬
-報酬
報酬定義
追加
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step1 シミュレータ上で用紙を搬送する
30
報酬を適切なタイミングで与え、繰り返し学習することで 性能が向上することを確認
シミュレータ上で強化学習により自動設計が可能
1回目 2回目 3回目
Step2 Step3
Step1
Step0
Step2 実際の機械で用紙を搬送する
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
Step0
状態、行動、報酬
を設定する
© KONICA MINOLTA
32
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
採用アルゴリズム
狙い
取り組み
• Q学習
• シミュレータ上で強化学習
により自動設計が可能であ
るか確認
• Q学習に必要な用紙位置情
報を仮想センサで対応
• シミュレータ上でQ学習で
動作する搬送環境を構築
• DQN
• シミュレータ上で動作した
学習モデルを使って実際の
機械を動かす
• 実機に合わせたNNを構成
• 実機動作と推論実行可能な
HW環境を構築
• PPO
• 実際の機械で安定的に用紙
を搬送できるかを確認
• 学習すべきバラつき要因を
設定
• シミュレータSim2Real環
境を構築
強化学習の適用ステップ
Step0
状態、行動、報酬
を設定する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
33
機構制御と推論実行に必要なパフォーマンスを満たすHW環境を構築
MFP制御CPU
機器制御実行
推論CPU
RX65N
NN推論実行
用紙位置情報
出力制御情報
ループ量:3.3[mm]に必要な
学習周期 20[msec]
入力層は最大3枚分の用紙位置
NNの隠れ層は最大128x2
1枚目 先端位置
1枚目 後端位置
2枚目 先端位置
2枚目 後端位置
3枚目 先端位置
3枚目 後端位置
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
34
DQNと実機構成シミュレータにより、学習環境を構築
実機構成シミュレータ
Step2 Step3
Step1
Step0
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
35
ハイパーパラメータ調整を行ったが安定して狙いの性能を達成できない
散発的に狙いとする所定枚数
を排出できる場合がある
安定するが、狙いとする
所定枚数を排出できない
パラメータ調整では
トレードオフ解消できず
Case1
Case2
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
36
用紙傾き補正タイミング判断できる補助情報により、狙いの性能と安定性を確保
補助情報(用紙傾き補正タイミング)を状態に追加することでNNが迷うことが減ると仮定した
用紙傾き補正タイミング情報
Step2 Step3
Step1
Step0
ヒントを貰える
と短い時間で効
率的に学べます
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
37
実機構成シミュレータで生成した学習モデルを実機HWで推論実行
実機構成シミュレータ
Step2 Step3
Step1
Step0
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
38
実機構成シミュレータ
Step2 Step3
Step1
Step0
実機構成シミュレータで生成した学習モデルを実機HWで推論実行
エージェント 環境
③報酬
②負荷出力制御
①用紙位置情報
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
39
Step2 Step3
Step1
Step0
実機HWで推論実行し、用紙搬送が行えることを確認できた
Step3 実際の機械で安定的に用紙を搬送する
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
Step0
状態、行動、報酬
を設定する
© KONICA MINOLTA
41
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
採用アルゴリズム
狙い
取り組み
• Q学習
• シミュレータ上で強化学習
により自動設計が可能であ
るか確認
• Q学習に必要な用紙位置情
報を仮想センサで対応
• シミュレータ上でQ学習で
動作する搬送環境を構築
• DQN
• シミュレータ上で動作した
学習モデルを使って実際の
機械を動かす
• 実機に合わせたNNを構成
• 実機動作と推論実行可能な
HW環境を構築
• PPO
• 実際の機械で安定的に用紙
を搬送できるかを確認
• 学習すべきバラつき要因を
設定
• シミュレータSim2Real環
境を構築
強化学習の適用ステップ
Step0
状態、行動、報酬
を設定する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step2 実際の機械で用紙を搬送する
42
給紙バラつきにより狙いの制御ができていない ⇒ バラつきも学習する必要がある
• 27ppmを発揮するモデルを使用して実機を動作させた結果
18ppm
学習時にできていた、
狙いとする所定枚数の排出を再現できない
通紙センサによる
用紙到着待機が発生
→用紙が想定より遅い
給送ログ波形より給紙ローラ送り速度を試算した結果、
理論値:175.2mm/sec に対し
実測値:154.5mm/sec
実機とSimの送り速度差により
推論がうまくいかない?
Step2 Step3
Step1
Step0
教えてもらって
いないことはで
きません
© KONICA MINOLTA
Step3 実際の機械で安定的に用紙を搬送する
43
バラつきを学習するために Sim2Real(Domain Randomization)の適用を検討
Env1
Env2
Env3
Simulatorによる学習 搬送用NN
ダイナミクスパラメータを振りつつ
シミュレートして学習
実機における推論
マシン固有のダイナミクスパラメータ
システムは値を知る手段はない
ダイナミクスパラメータは中央値で
シミュレートして学習
入力は理想の搬送のみを想定している
出力も理想の搬送のみを想定している
入力はバラツクことを想定している
出力はバラツクことを想定している
状態
理想的な動き
行動
理想的な動きをしたときの状態
状態
理想的な動き
行動
理想的な動きをしたときの状態
マシン固有の動き
GAP
理想的な動き
GAP
状態
マシン固有の動きを考慮
行動
マシン固有の動きをしたときの状態
マシン固有の動き
マシン固有のダイナミクスパラメータ
システムは値を知る手段はない
DomainRandomization
Step2 Step3
Step1
Step0
© KONICA MINOLTA
Step3 実際の機械で安定的に用紙を搬送する
44
Step2で構築したシミュレーション環境をPPOに変更し、DR機能を搭載
実機構成シミュレータ
Step2 Step3
Step1
Step0
エージェント
環境
③報酬
②負荷出力制御
①用紙位置情報
Domain
Randomization
© KONICA MINOLTA
Step3 実際の機械で安定的に用紙を搬送する
45
設計上の最大バラつきをDRに設定し、狙いの搬送を学習できるか検討中
120
122
124
126
128
130
132
134
136
138
140
142
0 20 40 60 80 100 120 140
DR環境下におけるTmgR到達までの理想位置と実位置のGAP
理想 実1(MAX) 実2(MIN)
171mm/sec
150mm/sec
TmgR位置
給紙CL OFF可能
給紙CL OFF不可
給紙CL OFF可能
(次ステップでTmgR到達)
ループ量:1.1mm
ループ量:3.62mm
制御タイミング
給紙CL OFF可能
どちらも成立するタイミング OK NG
NG
搬送速度が最大14%ば
らついても正常搬送可能
な給紙クラッチ制御を学
習する
正常搬送できる
用紙位置領域
搬送速度が最大14%バラついても狙いのタイミングで給紙クラッチを制御を学習する
Step2 Step3
Step1
Step0
まとめ
© KONICA MINOLTA
まとめ
47
適切なタイミングで報酬
を与えることで、学習が
進み、負荷出力の動作タ
イミングを自動設計可能
であると判断できた。
用紙状態の表現が複雑に
なったが、補助情報を与
えることでシミュレータ
上で狙いの性能に到達で
きた。
実機にDQNで学習したモ
デルを搭載して用紙を一
定間隔で搬送することが
できた。
安定的に搬送するために、
バラつきを含めた学習を
行うことが重要。
給紙速度と用紙状態の組
み合わせは膨大になり学
習を性能を向上するため
の更なる施策が必要。
Step1
シミュレータ上で
用紙を搬送する
Step2
実際の機械で
用紙を搬送する
Step3
実際の機械で
安定的に用紙を搬送する
取り組みで得られたこと
Step0
状態、行動、報酬
を設定する
強化学習により達成したいこと: 用紙を「真っ直ぐダメージ無く」 「所定枚数」搬送する
© KONICA MINOLTA
まとめ
48
人が働く場を制御対象と捉え、人とメカトロニクス製品が働きやすい環境構築を目指す
© KONICA MINOLTA
まとめ
49
• AI先端技術動向調査
• 新規技術導入におけるサポート
• 課題の設定
• 提案技術の課題への応用、検証
菅井 駿
第2デバイス制御開発部
鈴木 悠太 小川 雄太郎 大串 和正
AIテクノロジー部
50

More Related Content

What's hot

What's hot (20)

MIRU2020長尾賞受賞論文解説:Attention Branch Networkの展開
MIRU2020長尾賞受賞論文解説:Attention Branch Networkの展開MIRU2020長尾賞受賞論文解説:Attention Branch Networkの展開
MIRU2020長尾賞受賞論文解説:Attention Branch Networkの展開
 
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
 
2019年度チュートリアルBPE
2019年度チュートリアルBPE2019年度チュートリアルBPE
2019年度チュートリアルBPE
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
 
[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition[DL輪読会]SlowFast Networks for Video Recognition
[DL輪読会]SlowFast Networks for Video Recognition
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門
 
【DL輪読会】Generative models for molecular discovery: Recent advances and challenges
【DL輪読会】Generative models for molecular discovery: Recent advances and challenges【DL輪読会】Generative models for molecular discovery: Recent advances and challenges
【DL輪読会】Generative models for molecular discovery: Recent advances and challenges
 
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
 

Similar to 深層強化学習を用いた複合機の搬送制御

20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
Satoshi KAMEI
 
Zipcカンファレンス20110927
Zipcカンファレンス20110927Zipcカンファレンス20110927
Zipcカンファレンス20110927
Akira Kubo
 
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
Cybozucommunity
 
Approved spt
Approved sptApproved spt
Approved spt
akipower
 
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
Hinemos
 

Similar to 深層強化学習を用いた複合機の搬送制御 (20)

20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
20141006 JPNAPユーザ会 計測プローブを用いた国内インターネットの構造分析
 
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
The Economics of a Cloud Computer 「クラウドコンピュータ」の経済学 - 楽天テクノロジーカンファレンス講演
 
Distributed agile team_agile_transformation_20210225
Distributed agile team_agile_transformation_20210225Distributed agile team_agile_transformation_20210225
Distributed agile team_agile_transformation_20210225
 
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
KDDCUP2020 RL Track : 強化学習部門入賞の手法紹介
 
202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2202007 contrail cloud-operator-contrail_v1.2
202007 contrail cloud-operator-contrail_v1.2
 
Zipcカンファレンス20110927
Zipcカンファレンス20110927Zipcカンファレンス20110927
Zipcカンファレンス20110927
 
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
Japan Linux Conference 2010 Porting MeeGo to Android platforms 20101112
 
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
OpenStack Ops Mid-Cycle Meetup & Project Team Gathering出張報告
 
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
 
Aws summit tokyo 2016
Aws summit tokyo 2016Aws summit tokyo 2016
Aws summit tokyo 2016
 
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
電通、リクルート、サントリーショッピングクラブ、有名企業がいち早く選んだ kintone を徹底解説
 
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
製造現場×kintone   情報流通効率の向上に着目した製造現場における無駄の排除製造現場×kintone   情報流通効率の向上に着目した製造現場における無駄の排除
製造現場×kintone 情報流通効率の向上に着目した製造現場における無駄の排除
 
Approved spt
Approved sptApproved spt
Approved spt
 
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
 
★20210826 imug製品サービス分科会ーアンケート募集要項
★20210826 imug製品サービス分科会ーアンケート募集要項★20210826 imug製品サービス分科会ーアンケート募集要項
★20210826 imug製品サービス分科会ーアンケート募集要項
 
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
【Hinemos World 2013】B-2:クラウドと共に発展する、Hinemosクラウド管理オプションの最新情報(株式会社NTTデータ)
 
「歩留り」で管理するストリーミング配信 2013 3-21
「歩留り」で管理するストリーミング配信 2013 3-21「歩留り」で管理するストリーミング配信 2013 3-21
「歩留り」で管理するストリーミング配信 2013 3-21
 
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
【HinemosWorld2014】A1-3_01_NTT Comのグローバルクラウド戦略とHinemosとの連携について
 
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
【HinemosWorld2015】B1-4_政令指定都市におけるHinemosの活用事例
 
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
 

More from Deep Learning Lab(ディープラーニング・ラボ)

More from Deep Learning Lab(ディープラーニング・ラボ) (20)

Edge AI ソリューションを支える Azure IoT サービス
Edge AI ソリューションを支える Azure IoT サービスEdge AI ソリューションを支える Azure IoT サービス
Edge AI ソリューションを支える Azure IoT サービス
 
DLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event ReportDLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event Report
 
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待​
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待​ICTを用いた健康なまちづくりの 取り組みとAI活用への期待​
ICTを用いた健康なまちづくりの 取り組みとAI活用への期待​
 
医学と工学の垣根を越えた医療AI開発
医学と工学の垣根を越えた医療AI開発医学と工学の垣根を越えた医療AI開発
医学と工学の垣根を越えた医療AI開発
 
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
Intel AI in Healthcare 各国事例からみるAIとの向き合い方Intel AI in Healthcare 各国事例からみるAIとの向き合い方
Intel AI in Healthcare 各国事例からみるAIとの向き合い方
 
厚生労働分野におけるAI技術の利活用について
厚生労働分野におけるAI技術の利活用について厚生労働分野におけるAI技術の利活用について
厚生労働分野におけるAI技術の利活用について
 
先端技術がもたらす「より良いヘルスケアのかたち」
先端技術がもたらす「より良いヘルスケアのかたち」先端技術がもたらす「より良いヘルスケアのかたち」
先端技術がもたらす「より良いヘルスケアのかたち」
 
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
 
「言語」×AI Digital Device
「言語」×AI Digital Device「言語」×AI Digital Device
「言語」×AI Digital Device
 
深層強化学習と実装例
深層強化学習と実装例深層強化学習と実装例
深層強化学習と実装例
 
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Azure ML 強化学習を用いた最新アルゴリズムの活用手法Azure ML 強化学習を用いた最新アルゴリズムの活用手法
Azure ML 強化学習を用いた最新アルゴリズムの活用手法
 
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
Jetson x Azure ハンズオン DeepStream With Azure IoT 事前準備
 
Jetson x Azure ハンズオン DeepStream With Azure IoT
Jetson x Azure ハンズオン DeepStream With Azure IoTJetson x Azure ハンズオン DeepStream With Azure IoT
Jetson x Azure ハンズオン DeepStream With Azure IoT
 
Jetson x Azure ハンズオン DeepStream Azure IoT
Jetson x Azure ハンズオン DeepStream Azure IoTJetson x Azure ハンズオン DeepStream Azure IoT
Jetson x Azure ハンズオン DeepStream Azure IoT
 
Jetson 活用による スタートアップ企業支援
Jetson 活用による スタートアップ企業支援Jetson 活用による スタートアップ企業支援
Jetson 活用による スタートアップ企業支援
 
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
[Track 4-6] ディープラーニングxものづくりが日本を強くする ~高専DCONの挑戦~
 
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
[Track3-2] AI活用人材の社内育成に関する取り組みについて ~ダイキン情報技術大学~
 
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
 
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測
 
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
[Track3-4] アカデミックにおけるAI/ディープラーニング の教育と学習支援に関する研究
 

Recently uploaded

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
atsushi061452
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
ssuserbefd24
 

Recently uploaded (12)

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
 
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
 
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 

深層強化学習を用いた複合機の搬送制御