01 yamashita

1
Copyright (c) Atsushi Yamashita, Univ. of Tokyo. All rights reserved 2019
空間情報処理技術・
ロボット化技術を用いた
i-Constructionの実現
2019年10月30日 13:55-14:15，東京大学伊藤謝恩ホール
東京大学大学院工学系研究科「i-Constructionシステム学」寄付講座成果報告会
山下淳 (Atsushi Yamashita)
東京大学大学院工学系研究科精密工学専攻
yamashita@robot.t.u-tokyo.ac.jp
http://www.robot.t.u-tokyo.ac.jp
映像自動提示任意視点映像提示
水中構造物計測
転倒防止

2
自己紹介
氏名
山下淳 (やましたあつし)
所属
東京大学大学院工学系研究科精密工学専攻／
i-Constructionシステム学寄付講座・准教授
連絡先・居室
yamashita@robot.t.u-tokyo.ac.jp
本郷キャンパス工学部14号館 8階 827号室
専門
1. センサ情報処理
• 画像を用いた3次元計測
• 画像処理
2. ロボット工学
• 動作計画
• 環境センシング

3
Why 精密？
精密機械
– 時計？カメラ？
精密工学のメインフィールド
– 生産システム・生産技術
– 例：ファナック
(ロボット=自動化)
2019年07月26日ファナック工場見学

4
寄付講座の目的
社会インフラの建設企画・調査段階から維持
管理・運用段階までのプロセスにおいて，
– IT，IoT，空間情報処理技術，ロボット化技術等
を活用することで
– 生産性向上を図る
ことが可能なiConstructionを実現するための
システム開発を行う
そのシステムを実践するプロフェッショナル
を育成するため，i-Constructionシステム学
を構築する
山下の研究分野
精密の研究分野

5
謝辞 (あいうえお順)
安藤ハザマ (共同研究)
国土交通省 (研究助成)
コマツ (共同研究)
JACIC (研究助成)
清水建設 (共同研究)
東急建設 (共同研究)
フジタ (社会連携講座)
富士通 (共同研究)
若築建設 (共同研究)

6
2018年までの取組
任意視点映像提示（共同研究：コマツ）
透視映像提示
（共同研究：清水建設）
打音検査によるトンネル点検
（共同研究：東急建設）
ドローンによる橋梁点検
（共同研究：富士通）

7
2018年10月以降の取組
遠隔操作のための任意視点映像提示 (国土交通省)
画像・音響信号を用いたコンクリート構造物点検
(JACIC)
マルチスペクトルカメラを用いた走破性判定 (フジ
タ)
ロボット遠隔操作のための周囲環境の可視化 (フジ
タ)
遠隔操作ロボット走行時における機体の姿勢変化に
よる転倒回避 (フジタ)
バックホウの盛土作業における遠隔操作のための映
像自動提示 (フジタ)
非GPS環境におけるカメラを用いた建設機械の位置
姿勢推定 (安藤ハザマ)
音響カメラを用いた水中構造物計測 (若築建設)

8
研究成果紹介
(JACIC)
タ)
タ)

9
任意視点映像提示
センサキャリブレーションの手間：大
– カメラやレーザセンサが建設機械のどの位置に設置さ
れているかを正確に知る作業が大変
– 巨大なキャリブレーションパターン (模様が付いた板)
を環境中の複数個所に設置
周囲映像の遮蔽
– バックホウのアームによる遮蔽 (向こう側が見えない)
– バックホウのアームが映像にうつりこむ
魚眼カメラ×4
アームによる遮蔽

10
センサキャリブレーション
– 建設機械本体の形状を利用
岩滝ら，動的画像処理実利用化ワークショップDIA2019 研究奨励賞受賞
共同研究：コマツ

11
アームの遮蔽：任意視点映像 + 透視映像
国土交通省政策課題解決型技術開発公募「複数広視野カメラを用いた建設機械周辺の安全性確保技術の開発」
長野ら，ROBOMECH2019ほか発表

12
研究成果紹介
(JACIC)
タ)
タ)

13
コンクリート構造物点検
ひび割れと表面の汚れを間違う
→ 画像処理では違いを区別できない
ひび割れの進行方向 (打音検査では最も
重要) が分からない
→ 音響信号処理のみでは判定できない
環境が変わると，良い結果が出ない
• トンネルが変わると結果が変わる
• 叩き方が変わると結果が変わる
→ 事前に学習したデータに結果が強く依存する

14
画像処理のみ・音響信号処理のみでは困難
– マルチモーダル処理の提案
• 画像処理・音響信号処理の結果の有機的結合
学習データへの結果の依存性の問題
– クラスタリングにより解決
• 学習データの影響を抑えるため，点検中に取得した音
同士の類似性を調べ，異なった音を検出
画像処理
ひび割れ候補領域の検出
カメラ

15
クラスタリングによる異常検出
Defect
Area
JACIC研究助成「画像・音響信号マルチモーダル処理を用いたコンクリート構造物の自動点検」
ルイ笠原ら，国際会議GCCE2019発表ほか

16
研究成果紹介
(JACIC)
タ)
タ)

17
走破性判定
コーンペネトレータを用いたコーン指数
推定＝走破性判定の手間：大
[Robot Watch 2006]コーンペネトレータ

18
走破性判定
マルチスペクトル画像を用いた非接触
コーン指数推定・走破性判定
インテリジェント施工システム社会連携講座
（共同研究：フジタ）
山内ら，国際会議GCCE2019発表ほか
Estimated cone index: lowEstimated cone index: high

19
研究成果紹介
(JACIC)
タ)
タ)

20
周囲環境の可視化
問題：ロボット遠隔操作において，自己位置・障
害物との相対位置の把握が重要
→SLAMと深層学習による周囲環境の3次元可視化
インテリジェント施工システム社会連携講座（共同研究：フジタ）
小松ら，IEEE Access, 2019ほか

21
研究成果紹介
(JACIC)
タ)
タ)

22
転倒回避
遠隔操作時：建設機械の転倒が分かりに
くい → 安定性を考慮し建設機械を制御
インテリジェント施工システム社会連携講座（共同研究：フジタ）
水野ら，ROBOMECH2019ほか
従来手法（重心後方で固定）提案手法（アームによる重心制御）

23
研究成果紹介
(JACIC)
タ)
タ)

24
遠隔操作の映像自動提示
無人化施工：カメラ車のオペレータが必要
→ 画像処理によるカメラ自動制御
社会連携講座インテリジェント施工システム (共同研究：フジタ)
筑紫ら，精密工学会誌，2020 (予定) ほか

25
研究成果紹介
(JACIC)
タ)
タ)

26
建設機械の位置姿勢推定
非GPS環境での建設機械の自動運転
→ カメラ (GoPro) を用いた位置姿勢推定
Road roller
包ら，国際会議GCCE2019ほか発表
共同研究：安藤ハザマ

27
研究成果紹介
(JACIC)
タ)
タ)

28
濁水中：通常のカメラでは見えない
→ 音響カメラを用いたセンシング
沈潜調査
DIDSON 2周波音響カメラ [東陽テクニカHP]
河を遡上する鮭

29
音響カメラを用いた自己位置推定と3次
元計測
王ら，国際会議CAMS2019ほか発表
共同研究：若築建設

30
謝辞 (あいうえお順)
安藤ハザマ (共同研究)
国土交通省 (研究助成)
コマツ (共同研究)
JACIC (研究助成)
清水建設 (共同研究)：NDA手続き完了
東急建設 (共同研究)
フジタ (社会連携講座)
富士通 (共同研究)

31
サービスロボティクス分野
丸田千野高田
共同研究員
阿部千葉
大学院生 (修士)
M2湊D1湖上
淺間, PhD
教授准教授
山下, PhD 山川, PhD
成島
M2山内
中村
技術専門員
秘書
特任助教
筑紫, PhD田村, PhD
学部生
大学院生 (博士)
特任准教授
安, PhD
中
D4林
韓
M2金
韓
D3楊
中
石田
D1吉田
助教
M2呉
中
濱崎, PhD
M2殷
秋中
D4小松D4岩滝
中秋
D4陸
ルイ笠原, PhDFaragasso, PhD
伊
M2野田
M2尹
M2川田 M2長野
特任教授
永谷, PhD
Moro, PhD
伊
温, PhD
中
D1王
秋中
D1Massaroli
秋伊
D1蒋
後中
Pathak, PhD
印
D3Uygur
トルコ秋
M1岸本 M1杉本M1勝間
客員研究員
特任助教
D1青柳
特任准教授
M2包
秋中
秋
D2岩村
特任助教特別研究員
乙津黒木
プロジェクト
マネージャー
B4山口B4杉山B4後田
M1内田
D1後藤
M1陳
中
M1徐
中
M1沈
韓
D2樋口
B4釜木 B4陽
中
D1竹内
秋
M1劉
中秋
M1王
中秋
谷島, PhD
特任研究員
秘書秘書秘書
博士16名
修士19名
学部5名
秋：秋入学
特任研究員

01 yamashita

Recommended

Recommended

More Related Content

What's hot

What's hot (10)

Similar to 01 yamashita

Similar to 01 yamashita (20)

Recently uploaded

Recently uploaded (8)

01 yamashita