Vieurekaを用いた混雑状況の配信

Copyright © 2020 Morpho, Inc. All Rights Reserved.
新人研修 OJT 2020
Vieureka を用いた混雑状況の配信
植田大貴　
角田良太郎
山本太郎

Vieureka を用いた混雑状況の Web 配信サービスの実装
• 映像配信により視覚的に混雑状況を伝える
– プライバシーに配慮し、個人が特定できない形（シルエット化）で表示
– 定量的な混雑度を併せて表示
– Web 配信により簡便なアクセスを可能に
　テーマ
1
カメラ取得画像 Web 配信画像

　システム構成
2
Vieureka
Vieureka のカメラ画像取得
人数カウント人物領域の抽出
抽出した領域の
マスク画像を送信
サーバ (AWS)
混雑度表示
検出した
人数を送信
（人がいないとき）
背景画像を送信
映像配信
背景画像とマスク画像の合成DB を更新

　人数カウント
• Morpho Deep Detector を用いた
– モルフォの物体検出技術
• 人数 = [人間とカテゴライズされた BBox の数]
とした
– 一般的な物体検出のアルゴリズム (YOLOv3) を
用いたため人間以外も検出している
• サーバへの結果の送信
– 検出人数
– さらに検出人数がゼロのとき、取得画像を背景画像として送信
3
YOLOv3 による人物検出の例 [1]
[1] 元画像は https://pixnio.com より引用

　人物領域の抽出
• Vieureka の視点は固定
– 背景が動かないため、動体 (人物) 領域の検出には
背景差分法 (MOG2) を用いた
– Instance Segmentation も試したが、
速度・精度面で背景差分法の方が優れていた
– 止まっている人でも輪郭は検出できる
• 抽出された人物領域のマスク画像を送信
– ノイズの少ない 2 値画像のためランレングス圧縮をかけた
4
MOG2 による人物領域抽出の例

　Vieureka への組み込み
5
カメラ画像を取得すると、画像受信ハンドラ関数が実行される
– ハンドラ内では、人数カウントと人物領域抽出をそれぞれスレッドを立てて実行
– 画像を受信しても前の処理が終わっていなければ、その画像についての処理をスキップ
– 各処理終了時に（非同期的に）結果をサーバに送信
イベントループイベントループハンドラ関数の実行イベントループハンドラ関数の実行
メインスレッド
スレッド1
スレッド2 人物領域抽出
人数カウント
・・・
t →人物領域抽出

　サーバ側の処理 ― 混雑度の統計
• サーバ (AWS) が受け取るデータ
– 検出された人数
– 背景画像
– 抽出された人物領域のマスク画像
• 混雑度に関する統計量の格納にはデータベース SQLite3 を使用
• 検出された人数と受信した日時を DB テーブル “perMinute” に登録
• 同時に DB テーブル “perHour” が更新される
– perHour は各時間に1つのレコードを持つ
– perHour のカラム：時刻（1 時間単位）・受信回数・合計人数・最大人数・天気
• Open Weather Map から各時間の天気を取得
6

　サーバ側の処理 ― 背景とマスク画像の合成
• 背景画像と人物領域のマスク画像はサーバ側で掛け合わされる
– 半透明のシルエット化された人間が映った画像となる
7
×
背景画像
（検出人数がゼロのときの画像）
人物領域のマスク画像出力画像

　サーバ・クライアント間の通信
8
HTTP
リクエスト
HTTP
レスポンス
サーバ (AWS)
背景とマスク画像の合成
perMinute にレコード追加
perHour テーブルを更新
クライアント (Web ブラウザ)
perHour のデータ
取得クエリ
Chart.jsによるグラフ描画配信画像の表示
html/css/js
配信画像を定期送信perHour の
データを送信

　UI
9
人物領域をマスクした映像を表示

　UI
10
平均・最大検出人数をグラフ表示
天気（混雑度と相関を持つかも？）

　おわりに
やり残したこと
• 人数カウントの高速化
– 現状では人数カウントの処理時間は約 40 秒と非常に遅い
– SoftNeuro によってモデルをチューニングすることで大幅に高速化できる見込みだったが
今回はそこまで至らなかった
• 日ごとのデータ集計と混雑予測モデルの作成
– 実際の利用場面（店舗など）では混雑度と天気に相関があるのではないかと予想
– そもそも人がほとんどいないためにデータを取れなかったという問題があった
11

　おわりに
苦労した点など
• テーマ決め
– 「Vieureka の利点を活かすこと」「技術的に面白いこと」「期間内に完成すること」など様々な要件を
考慮したテーマを考え出すのに苦労した
• デバッグ作業
– Vieureka で中間画像を出力するのが非常に大変であったため、
バグの原因等を特定するのが難しかった
• 未経験の分野
– Web 開発の経験がなく、PHP の書き方など手探りで調べながら実装していった
12

Vieurekaを用いた混雑状況の配信

Recommended

Recommended

More Related Content

Similar to Vieurekaを用いた混雑状況の配信

Similar to Vieurekaを用いた混雑状況の配信 (14)

More from Morpho, Inc.

More from Morpho, Inc. (11)

Recently uploaded

Recently uploaded (8)

Vieurekaを用いた混雑状況の配信