修士論文

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
バス乗客ODデータの推定における深層学習を
用いた人物追跡に関する研究
A Study on Person Tracking Using Deep
Learning in Estimating Bus Passenger OD Data
北海道大学大学院情報科学院
西浦翼

研究背景 2
乗合バス事業の経常収支率は平成27年以降悪化傾向にある[1]
業務・サービスの改善が求められる
– 路線計画・ダイヤの効率化
• バス乗客OD(Origin-Destination)データの収集
– 車内安全確保
• 移動人物，荷物の検出
– 混雑状況配信
平成27年~令和元年
その他地域
大都市部
計
[1] 国土交通省令和元年度乗合バス事業の収支状況について，https://www.mlit.go.jp/report/press/jidosha03_hh_000326.html

各種サービスに必要なデータの収集について 3
• 路線計画，ダイヤの効率化
– 乗客OD(Origin - Destination)データ
• 車内安全確保
– バス車内人物の動態情報
• 混雑状況配信
– 乗車中の人数情報
「バス停別乗降者数」: バス停毎に何人乗り降りしたか
バス車内にカメラを設置
安価に実現
（バス車内モニタリングシステム）
本研究の対象

4
研究目的
• バス車内モニタリングシステムを用いた
OD 推定手法の提案
– バス停別乗降者数の推定
• 本発表の内容
– 人物追跡によるバス乗降者数の推定手法の提案
• バス停ごとのバス乗降口の映像を取得
• バス乗客の検出と乗車／降車の判定
– 乗降口カメラ映像の検証データによる評価
• 人物追跡の精度をトラッキング指標で評価
• 乗降者数を真値と比較

バス停別乗降者数推定の流れ 5
バス停毎に乗車・降車の
映像を撮影
乗降者数推定
アルゴリズム
想定するシステム
乗降映像
データ
バス停別
乗降者数データ
バス停別
乗降者数
映像データ
カメラ映像
データの収集データの処理
乗車口画像降車口画像

6
乗降口画像を用いた OD 推定の難しさ
• カメラの設置位置の制約による画角の限界
• 手すりや人物同士のオクルージョン
• 太陽光による明るさの変化
• 個人情報の取り扱い
• デバイスの耐久性，配線工事，車載機の性能等の制約

7
バス乗降者数の推定アルゴリズムの概要
1. 人物検出器による動画の各フレームにおけるバス乗客の検出
2. 複数フレームにまたがって映るバス乗客の追跡
3. バス乗客ごとの乗車／降車の判定と数え上げ
… … … …
… … … …
同一人物
… … … …
乗車客
非乗車客
バス乗客の
検出結果
入力：
バス停ごとの
乗車／降車口
カメラ動画
出力：
バス停での
乗車／降車
の人数

8
1. 人物検出器によるバス乗客の検出
• 動画のフレームごとに人物検出器を適用
… … … …
バス乗客の
検出結果
• 使用する人物検出器
– 高い精度で推論可能な YOLOR [2]
– MSCOCO [3] データセットを学習
– 確信度 40% 以上で "Person" クラスと
推定された結果をバス乗客とする
– 体の一部のみ映る乗客やバスに乗り
込まない人物を除外する
• 人物検出器の推定結果から面積 30,000
ピクセル以下の矩形を除外
バス乗客から除外される
人物検出結果
[2] Chien-Yao Wang and I-Hau Yeh and Hong-Yuan Mark Liao “You Only Learn One
Representation: Unified Network for Multiple Tasks”(2021), arXiv
[3] Lin et al. “Microsoft COCO: Common Objects in Context”(2015), arXiv

9
2. 複数フレーム間のバス乗客の追跡（1/2）
• 人物追跡手法 MPNTrack [4] の適用
– バス乗客の矩形ごとに ID を付与する
– 同一人物に対し同一 ID を与えるよう学習
• MPNTrack の特徴
– Message Passing Network を応用したモデル
– 2020年の複数人物追跡ベンチマーク MOT20 で高精度
• 同一人物に付与する ID の入れ替わりによる誤判定が少ない
• 撮影角度の変化やオクルージョンが頻繁なバス車内動画に
対し有効と考え採用
… … … …
乗客ID: A
乗客ID: B
バス乗客の
検出結果
[4] Guillem Braso and Laura Leal-Taixe “Learning a Neural Solver for Multiple Object Tracking”(2021), arXiv

10
2. 複数フレーム間のバス乗客の追跡（2/2）
• 人物追跡手法 MPNTrack の学習データ
– ResNet-50 による画像特徴量抽出の事前学習：ImageNet
– 人物追跡の学習
• 同一人物を複数の角度から撮影した複数のデータセット
– Market-1501 [5]
» 精華大学内の市場にて6台のカメラで撮影
» 1,501人に対する 32,670 枚の画像
– CUHK03 [6]
» 香港中文大学にて5台のカメラで撮影
» 1,360人に対する 13,164 枚の画像
– DukeMTMC [7]
» デューク大学にて8台のカメラで撮影
» 702人に対する 36,411 枚の画像
[5] Liu, Weiyang et al.” Scalable Person Re-identification: A Benchmark”， IEEE，2015
[6] Ristani,Ergys et.” Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking”，European Conference on Computer Vision workshop
on Benchmarking Multi-Target Tracking，2016
[7] Wei Li et al .” DeepReID: Deep Filter Pairing Neural Network for Person Re-Identification”, CVPR, 2014
Market-1501 の画像例 DukeMTMC の画像例
CUHK03 の画像例

11
3. バス乗客ごとの乗車／降車判定（1/3）
• 乗降客の判定と数え上げ
– 乗客 ID ごとに乗車／降車の行動の有無を判定
– 該当する乗客 ID の総数をバス停別乗降数とする
• 乗車口動画における乗車客 ID の総数：乗車数
• 降車口動画における降車客 ID の総数：降車数
• ルールベースによる乗車／降車判定
– 乗車口／降車口カメラは固定箇所に取り付け
– 動画の特定領域で検出された人物を乗車／降車とみなす
… … …
乗車客
非乗車客
…
乗客ID: A
乗客ID: B

12
• 次の条件を全て満たす乗客 ID を乗車客と判定
– 乗客 ID を初めて検出した際の矩形中心が乗車口範囲に収まる
• 乗車口範囲はカメラ設置位置をもとに意図的に決定する
– 乗客 ID が乗車口動画の先頭 40 フレームで検出されていない
• 乗車口動画の撮影開始から 40 フレーム後に乗車ドアが開くため
– 乗客 ID を検出した矩形中心の移動距離が閾値を下回る
• x 軸に関する移動距離と y 軸に関する移動距離の積が 500 を下回る
• 乗車口のすぐ外側にとどまり続ける人物を除外するため
乗車客を初めて検
出した際の矩形
非乗車客を初めて
検出した際の矩形
乗車口範囲

13
• 次の条件を全て満たす乗客 ID を降車客と判定
– 乗客 ID を最後に検出した際の矩形中心が降車口範囲に収まる
• 降車口範囲はカメラ設置位置をもとに恣意的に決定する
– 乗客 ID が降車口動画の末尾 40 フレームで検出されていない
• 降車口動画の撮影終了の 40 フレーム前に降車ドアが閉まるため
– 乗客 ID を検出した矩形中心の移動距離が閾値を下回る
• x 軸に関する移動距離と y 軸に関する移動距離の積が 500 を下回る
• 降車口のすぐ手前にとどまり続ける人物を除外するため
降車口範囲
降車客を最後に
検出した際の矩形
同じ降車客が最初に
検出された際の矩形
矩形中心の移動距離
が閾値を上回る

14
実験目的
• 乗降口カメラ映像の検証データによる評価
– 人物検出器の評価
– 人物追跡器の学習と評価
– 人物検出器と人物追跡器を組み合わせて人物追跡の評価
• 検証用動画データ
– 撮影環境
• バス：札幌市内を走行する2路線（南95，南4）
以降バス1，バス2
• 動画本数：バス1（乗車6本，降車12本）
バス2（乗車12本，降車15本）
– 撮影機器
• 乗降口に広角カメラを各1台ずつ設置
• 動画撮影後，顔にモザイク処理をしてから保存

15
検証データ
• 検証用バス車内動画
– 乗降口共通設定
• フレームレート 4 fps
• 動画構成：開扉前10秒～閉扉後10秒
– 乗降口相違点
• フレームサイズ (乗車口882x826，降車口1024x768)
• 明るさ
乗車口降車口

16
検証データ
バス1 フレーム数乗降客数矩形数矩形密度
最大値 818 12 290 1.2
最小値 97 1 11 0.1
平均値 171 3 79 0.5
フレーム数乗降客数矩形数矩形密度
最大値 3,018 10 467 1.1
最小値 94 1 13 0.1
平均値 230 2 74 0.4
バス2
• 検証データの概要
– 始点ではドアを開けたまま乗客を待つ

17
評価指標（物体検出）
IOU (Intersection Over Union)
IOU =
：GT
：Prediction
∈ [0, 1]
TP(True Positive) ： IOU > 閾値(0.5)で検出
FN(False Negative) ：検出できなかったGT
FP(False Positive) ：誤検出したPrediction
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑇𝑃
𝑇𝑃 + 𝐹𝑃
=
𝑇𝑃
全𝑃𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛
𝑅𝑒𝑐𝑎𝑙𝑙 =
𝑇𝑃
𝑇𝑃 + 𝐹𝑁
=
𝑇𝑃
全𝐺𝑇
AP(Average Precision)
AP = AP1 + AP2 + AP3
IOU = 0.8
IOU = 0.9
IOU = 0.8
IOU = 0.3
FP
FP
FN
TP TP
TP
Precision Recall 曲線
AP1
AP2 AP3
∈ [0, 1]

18
実験1
• 人物検出器の選定
– YOLORとYOLOv5で比較
– どちらもMSCOCOを使って学習済み
– 各モデルの確信度(conf)の閾値を 0.2~0.6 で実験
conf = 0.8
conf = 0.9
conf = 0.8
conf = 0.3
人物検出器
conf = 0.1

19
実験結果
AP
YOLOR conf=0.2 48.6%
YOLOv5 conf=0.2 55.2%
• 人物検出器の選定
– YOLORの conf 0.4 を採用

評価指標（物体追跡） 20
成功例
・正解データと同じようにモデルが軌跡を出力
・IoU > 0.5で成功
：prediction
：GT

21
評価指標（物体追跡）
・正解データを予測できていないGTの数
：prediction
：GT
FN
FN
FN(False Negative)

22
：prediction
：GT
FP
FP
FP(False Positive)
・正解データにマッチしない予測した矩形の数

23
IDSW(ID Switch)
・正解データと対応する軌跡が存在するが，途中でIDが変わる
：prediction 2
：GT
：prediction 1
IDSW

24
• IDSW：IDが誤って切り替わる回数
• MOTA：トラッキング全体(detection+Re-ID)を評価
MOTA = 1 −
𝐹𝑁+𝐹𝑃+𝐼𝐷𝑆𝑊
𝐺𝑇
• IDF1：IDの割当の精度(Re-ID)を評価
IDF1=
2𝐼𝐷𝑇𝑃
2𝐼𝐷𝑇𝑃+𝐼𝐷𝐹𝑃+𝐼𝐷𝐹𝑁
• 乗降者数の誤差率
誤差率 =
１
動画数
｜真値 − 予測値｜
真値
∗ 100
主な評価指標

25
実験2
• 以下の設定で MPNTrack を学習，評価
– 評価も GT の矩形情報を使用
– ID が正しく割り振られるかを検証
バス1 乗車 12本バス2 乗車 6本バス1 降車 15本バス2 降車 18本
条件1 学習評価
条件2 評価学習
条件5 学習評価学習評価
条件6 評価学習評価学習
人物追跡器
MPNTrack
ID1
ID2
ID3
ID4

26
実験結果
動画本数総乗降者数 IDSW MOTA IDF1
条件1 12本 32人 4 0.995 0.937
条件2 6本 32人 0 0.996 0.957
条件3 15本 25人 11 0.988 0.963
条件4 18本 25人 2 0.997 0.993
条件5 27本 64人 21 0.989 0.951
条件6 24本 50人 0 0.998 0.999
• MOTA，IDF1の値が高く十分学習できている
• 乗降口をまとめて処理しても大きい差はない
• オクルージョンに伴って一部IDスイッチが発生
• GTなのでFP, FNは無い

27
実験結果
• IDスイッチの例
– オクルージョンによる映り方の変化

28
実験3
• 以下の設定でアルゴリズム全体を評価
– YOLORで人物検出後，MPNTrackで人物追跡
– 学習モデルは条件1～条件4と同様
– 乗降者数が正しく推定できるかを検証
バス1 乗車バス2 乗車バス1 降車バス2 降車
人物検出器
YOLOR
人物追跡器
MPNTrack

29
実験結果
動画本数乗降者数の
誤差率
FP FN IDSW MOTA IDF1
条件1 12本 16.9% 52 452 3 0.627 0.734
条件2 6本 27.1% 36 206 1 0.627 0.729
条件3 15本 13.6% 35 482 3 0.715 0.826
条件4 18本 38.2% 62 703 4 0.558 0.651
全体平均 51本 23.9% 46 461 2.75 0.632 0.735
• 誤差率が23.9%と十分な精度を達成
（目標30％未満）

30
さらなる精度向上に向けた改善案
• IDスイッチの主要因
– オクルージョンによる矩形サイズの変化
– 車内の明るさの問題
– 人物検出の精度の問題
• さらなる改善
– YOLORの処理
• 画角が上からになるため人物検出が難しい
• YOLORの追加学習

31
まとめ
• バス乗客ODデータ推定の精緻化に向けて，トラッキングを用いたバ
ス乗降者数の推定アルゴリズムを提案し，その検証を行った
• 検証のために実際に運行する路線バスの乗降口にカメラを設置して
撮影およびアノテーションを行いデータセットを作成した
• 人物検出器の精度比較を行った
• 人物追跡器の学習及び評価を行い，十分な精度が確認できた
• 人物検出器と人物追跡器を組み合わせて，十分な精度が確認でき，
さらなる改善案を検討した

32
研究業績
国内学会（口頭発表3件）
• 西浦翼, 横山想一郎, 山下倫央, 川村秀憲, 佐藤好美, 長谷川怜,
平澤幸 : 深層学習を用いた人物追跡手法によるバス乗降者数の
推定, 第20回データ指向構成マイニングとシミュレーション研究
会, オンライン (2021)
• 西浦翼, 横山想一郎, 山下倫央, 川村秀憲：バス車内画像を用
た深層学習に基づく混雑状況推定モデルの検証, 情報処理北海
シンポジウム2020, 41, オンライン (2020)
• 西浦翼, 横山想一郎, 山下倫央, 川村秀憲：バス乗客ODデータ
の推定における深層学習を用いた人物追跡に関する研究，社会
システムと情報技術研究ウィーク，オンライン(2022，予定)

修士論文

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 修士論文

Similar to 修士論文 (20)

More from harmonylab

More from harmonylab (19)

修士論文