SlideShare a Scribd company logo
1 of 16
CNNによる路面画像の認識と
ロードヒーティングの制御に関する研究
A study on Recognition of Road Surface Images by CNN
and Control of Road Heating
北海道大学大学院 情報科学研究科
情報理工学専攻 調和系工学研究室
修士2年 小山望海
一般的なロードヒーティング
• ガス(実験で使用)
– 定期的な機器の交換とメンテナンスが必要
• 電気
– ガスに比べて出力が弱い
– メンテナンスが比較的容易
2
・降雪センサー
- センサーに付着した雪の
水分を検出
- 赤外線を当てたときの反
射から降雪を検出
・路面温度センサー
・タイマー
降雪センサーが降雪なしと判断し
てからも稼働し続ける条件を設定
センサー
タイマー
目標:
路面の雪をなくす
ロード
ヒーティング
路面
路面の
積雪状態
on/offの決定
雪・雨
問題点
降雪と降雨を区別することができない
稼働時間に
無駄が生じる路面の状態ではなく、降雪状態から制御するため、
雪を融かしきるために必要な稼働時間が分からない
研究背景・目的
積雪状態を認識してフィードバック制御することで
余分な稼働時間を減らし、積雪状態を適切に制御する
積雪状態
の判定
路面の雪をなくす
ロード
ヒーティング
路面 積雪状態
on/offを出力
雪・雨
路面画像を認識する方法 Raspberry Piのカメラモジュールで撮影
CNNを使用
昨年、札幌市内3か所で3か月間実証実験を行った結果、約38%稼働時間を削減し
たが、さらに稼働時間を削減できる可能性がある
融雪負荷シミュレーションを実装して、より稼働時間を短くする制御方法を検証
3
ロードヒーティング制御システム
CNNを用いた路面画像の認識
最も精度が高かった手法(98.75%, 分散:0.013)
ネットワーク構造:Network in Network
最適化手法 :NesterovAG 4
画像
撮影
画像を分割
(64pixel)
CNNに
入力
出力の平均
を計算
分割された画像ごとに
積雪がある確率が出力される
OFF
0.5以上
0.5未満
ON
CNNの出力:0.01
CNNの出力:1.0
12×16(192)枚
CNNを用いた路面画像の認識
訓練画像 ロードヒーティングが設置されている場所での、様々な場面の画像
Raspberry Piのauto modeとnight modeを使用
雪あり画像内訳
①積雪直後
②足跡や車の跡
③汚れている雪
④明るい(昼)
⑤暗い(夜・影)
⑥ライト(白以外も含む)
雪なし画像内訳
①乾いた地面
②濡れた地面
③明るい(昼)
④暗い(夜・影)
⑤ライト(白以外も含む)
合計
24000枚
auto
mode
night
mode
積雪あり 8000枚 4000枚
積雪なし 8000枚 4000枚
分類精度を上げるためにはより多くの画
像が必要
全ての画像を64×64ピクセルに
分割
5
提案システムの動作
6
実証実験
検証内容
・路面画像認識の精度
・従来制御方法との性能の比較
札幌市内駐車場3か所
2017年1月~3月
• 従来センサーの代わりに本システムを使用して制御
• 駐車場内で車などの障害物が映りにくい約1m四方を撮影するように設置
実験方法
降雪センサーが降雪を検出した時間
CNNの出力の平均値
本システムによって実際に稼働させた時間
7:00
auto mode
雪あり
14:00
auto mode
雪なし
19:00
night mode
雪なし
• 降雪センサーが降雪を検出していても積雪ま
で至っていない時間の稼働を削減
• 一定時間稼働した後、降雪が続いていても余
熱によって融雪
実証実験の結果
16:54
7
目視による認識との一致率99.7%
降雪がある時間のみ稼働させ、タイマーや路面温度を使用しない場合と比較し、
平均38%稼働時間を削減
問題点
画像の撮影からON/OFFの判定まで約8分かかる
⇒ 雪が積もり始めてもロードヒーティングを稼働させるまでに8分かかってしまう
積雪がなくなってからも8分間稼働し続けてしまう
改善点
⇒
判定時間を短くすることで、さらに稼働時間を短くできる可能性がある
よりシンプルなネットワークで検証
分割した192枚全ての画像ではなく枚数を絞る → T検定の適用
路面画像以外の情報を用いることでさらに稼働時間を削減できる可能性がある
さらに稼働時間が短く、積雪が無い状態に保つ制御方法をQ学習により獲得⇒
実際のロードヒーティングを用いて行うことができないのでシミュレーションを用いて検証
シンプルなネットワークを用いた路面画像の認識
16:54
既存のネットワークをシンプルにしたネットワークの中で精度
の高かった3つのネットワーク
精度:97.24%
判定時間:約2.5分
精度:93.54%
判定時間:約1.5分
精度:96.39%
判定時間:約2分
8
T検定を用いた路面画像の認識
16:54
0.74
0.76
0.78
0.8
0.82
0.84
0.86
0.88
0.9
0
2
4
6
8
10
12
14
0.01 0.03 0.05 0.07 0.1
平
均
正
答
率
平
均
枚
数
(
最
低
5
枚
)
有意水準
枚数
正答率
• 64ピクセルに分割した192枚の画像の全てのCNNの出力ではなく、数枚のみで判定するこ
とで判定時間を短くする
• 最初にランダムに5枚を選んでCNNに入力し、出力値の平均が0.5をある有意水準の下で
上回るあるいは下回ることをT検定を用いて検定する。
• それ以降、CNNの出力が有意水準を下回るまでランダムに選んだ画像をCNNに入力する
• 明らかに積雪なしまたは積雪ありの場合、最初の5枚で有意水準を下回るが、積もりはじ
めや解け終わりの場合、有意水準を下回るまでに多くの枚数が必要になり、精度も低くな
る
全ての画像をCNNに入力
した場合、判定に約8分か
かっていたのに対して、
平均約1分で判定
9
シミュレーション
検証内容
• ON/OFFの決定にかかる時間と精度による性能の違い
-精度が少し低くても早く判定した方が良いのか
• Q学習を用いた、より短い稼働時間で雪を融かす制御方法の学習
参考研究
• "ロードヒーティングの期間融雪負荷シミュレーション“
月館司, 富田和彦. 空気調和・衛生工学会 論文集 21.61 (1996): 57-65.
– 実測と比較して路盤温度を2℃以内の誤差で再現し、融雪状況も再現
– 路盤構造や制御方法を比較検討する上で十分有用であると結論付けて
いる
• 気象庁が公表している過去の気象データを使用
– 期間:2016/12/1 ~ 2017/2/28
– 気温、風速、降水量(10分毎)
– 水蒸気圧、日射量、雲量(1時間毎)
– 10分間は同じ気象条件とした
http://www.data.jma.go.jp/obd/stats/etrn/index.php10
シミュレーションの概要
11
降水量(F)
気温(𝜃 𝑜)
雲量(c)
絶対湿度(𝑋 𝑜)
夜間放射量(R)
気温(𝜃 𝑜)
降水量(F)
降水量のうち
氷(雪)の量(𝐹𝑠)
水(雨)の量(𝐹𝑟)
降雪の密度(𝜌 𝑓)
積雪の深さ(𝑑 𝑠, 初期値0)
気温(𝜃 𝑜), 熱対流伝達率(𝛼 𝑐)
放射熱伝達率𝛼 𝑟
夜間放射量(R)
𝛼 𝑐 = 5.0 + 3.4V(V :風速)
雪の日射吸収率(a)
表面温度(𝜃𝑒)
水分の路面からの
浸透高さ(𝑑 𝑤)
積雪量(S, 初期値0)
水分量(W, 初期値0)
気温, 降水量, 風速
日射量, 水蒸気圧, 雲量 前ステップの積雪深や水分量, 路盤温度等を入力
積雪量
路盤温度
水分量
シミュレーションによる比較
判定間隔の比較
• 積雪量が0.2[kg/m^2]以上のときにCNNが積雪ありと認識す
ると仮定したとき、最も実証実験の結果に近かったため、
0.2[kg/m^2]を閾値とした。
• ON/OFFを判定する間隔を変えて比較 ONとOFFが切り替わる境
目となっていた画像
12
判定間隔を3分としたときに稼
働時間が最も短く、積雪量が
閾値未満の時間も最も長く
なった
判定間隔と精度の関係
判定間隔を3分としたとき、3%の確率でON/OFFの判定を入れか
えても、実証実験で判定にかかった8分の場合より稼働時間が短
く、積雪なしの時間が長かった
少し精度が悪くても短時間で判定した方が良い
116000
116500
117000
117500
118000
118500
119000
119500
9500
10000
10500
11000
11500
12000
12500
13000
1 2 3 4 5 6 7 8 9 10
判定間隔(分)
2016/12/1~2017/2/28分 分
精度:97.24%
判定時間:約2.5分
シミュレーションの挙動
• 判定間隔が3分より長い場合:積雪がなくなっても稼働させる時間が長くなる
• 判定間隔が3分より短い場合:閾値を超えてすぐに稼働させるため路盤温度があまり上
がる前に融かしきるので、またすぐに積もってしまい、稼働させる時間が長くなってしまう
13
合計69分稼働
合計48分稼働
シミュレーションを用いたQ学習
• 積雪量と路盤温度が分かっている場合により少ない稼働時間で融雪する制
御方法を学習
• 行動間隔:3分
• 状態s -積雪量と路盤温度を離散状態に近似
– 積雪量[kg/m^2]
0.0~0.1, 0.1~0.2, 0.2~0.3, 0.3~0.4, 0.4~0.5, 0.5~1.2, 1.2~3.0, 3.0~
– 路盤温度[℃]
~0, 0~10, 10~20, 20~30, 30~40, 40~50, 50~60, 60~70
• 行動a
– ON / OFF
– 5%の確率でランダムに行動
• 報酬R(複数試した結果最も良い結果が出たもの)
• 更新
14
行動がONのとき -0.3
積もった状態から積雪を0.2[kg/m^2]未満まで融かしたとき +100
積雪が1.2[kg/m^2]以上のとき -0.03
積雪が0.2[kg/m^2]未満の状態のとき +0.003
Q学習の結果
Q学習を行った結果を3か月分の気象データを用いてシミュレーションした
積雪量のみ Q学習の結果
合計稼働時間 175時間15分 172時間3分 2.9%削減
積雪0.2[kg/m^2]未満の時間 1983時間49分 1974時間11分 0.5%減少
積雪0.3[kg/m^2]未満の時間 2081時間37分 2086時間15分 0.2%増加具体的な挙動
• 路盤温度が低い場合は積雪量が閾値に達していなくても閾値に近ければONに
する
• 路盤温度が十分高く、積雪量があまり多くない場合は積雪量が閾値以上でも
OFFにする
15
まとめ
従来のロードヒーティング制御が、雪と雨を区別できず、制御対象の路面
状態を認識しないフィードフォワード制御のため、正しく制御できない可能
性がある
路面画像を認識することで正しくフィードバック制御を行えるようにした
昨年の実証実験で、従来の降雪センサーを用いた制御と比較し、稼働時
間を平均38%削減した
シミュレーションを作成し、路面画像以外の情
報を用いたQ学習によって、より短い稼働時
間で融雪する制御方法を検証した
今年も12か所で実験中
16
シンプルなネットワークやT検定を用いることで判定時間を短縮
学会業績
• 小山望海,横山 想一郎,山下 倫央,川村 秀憲,畳み込みニューラルネットワークを用いた積雪状態の認識とロードヒー
ティングの制御,社会システムと情報技術研究ウィーク2017(WSSIT),KBS5,虻田郡留寿都村(2017)
• 小山望海,横山想一郎,山下倫央,川村秀憲,武田清賢,横川誠:畳み込みニューラルネットワークを用いた積雪状態の
認識とロードヒーティングの制御,情報処理北海道シンポジウム2017,14,札幌(2017)
• Nozomi Koyama, Soichiro Yokoyama, Tomohisa Yamashita, Hidenori Kawamura, Kiyotaka Takeda and Makoto Yokogawa,
“Recognition of Snow Condition Using a Convolutional Neural Network and Control of Road-Heating Systems”, The 21st
Asia Pacific Symposium on Intelligent and Evolutionary Systems (IES2017), paper22, Hanoi, Vietnam(2017)

More Related Content

What's hot

What's hot (20)

報酬設計と逆強化学習
報酬設計と逆強化学習報酬設計と逆強化学習
報酬設計と逆強化学習
 
畳み込みLstm
畳み込みLstm畳み込みLstm
畳み込みLstm
 
GAN(と強化学習との関係)
GAN(と強化学習との関係)GAN(と強化学習との関係)
GAN(と強化学習との関係)
 
AlphaGoのしくみ
AlphaGoのしくみAlphaGoのしくみ
AlphaGoのしくみ
 
Vision and Language(メタサーベイ )
Vision and Language(メタサーベイ )Vision and Language(メタサーベイ )
Vision and Language(メタサーベイ )
 
機械学習研究の現状とこれから
機械学習研究の現状とこれから機械学習研究の現状とこれから
機械学習研究の現状とこれから
 
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
 
コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット
 
強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験強化学習アルゴリズムPPOの解説と実験
強化学習アルゴリズムPPOの解説と実験
 
点群深層学習 Meta-study
点群深層学習 Meta-study点群深層学習 Meta-study
点群深層学習 Meta-study
 
大学3年生の僕に伝えたいことをつらつらと
大学3年生の僕に伝えたいことをつらつらと大学3年生の僕に伝えたいことをつらつらと
大学3年生の僕に伝えたいことをつらつらと
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
タクシー運行最適化を実現する機械学習システムの社会実装
タクシー運行最適化を実現する機械学習システムの社会実装タクシー運行最適化を実現する機械学習システムの社会実装
タクシー運行最適化を実現する機械学習システムの社会実装
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
 
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
 
NIPS2017読み会@PFN: Hierarchical Reinforcement Learning + α
NIPS2017読み会@PFN: Hierarchical Reinforcement Learning + αNIPS2017読み会@PFN: Hierarchical Reinforcement Learning + α
NIPS2017読み会@PFN: Hierarchical Reinforcement Learning + α
 

More from harmonylab

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
harmonylab
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
harmonylab
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
 

More from harmonylab (20)

【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究   千坂知也
 
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
 
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
 
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
 
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
 
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
 
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile BackboneDLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
 
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat ModelsDLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
 
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language ModelsVoyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
 
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose EstimationDLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
 
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
 
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
 
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
 
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた 灯油残量推定システムに関する研究
 
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
 
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
 
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
 
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
 

修論発表