Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
監視映像システムのための複数センサを活用した
イベントドリブン型適応レート制御の性能評価
Performance Evaluations of Event-driven Rate Adaptation
Using Multimodal Sens...
アウトライン
1. 研究背景
2. 関連研究
3. 提案システム
4. 評価実験
5. まとめ
6. 今後の課題
1
NICT 「ソーシャル・ビッグデータ利活用・基盤技術の研究開発」
鉄道とその周辺による情報センシング・通信ネット
ワーク基盤
2
クラウド
 土砂災害予測
 車両搭載センサからのデータ収集
・センサー
データ
・監視映像
データ
エッジサ...
3
研究背景
映像監視(video surveillance)システムの普及
• 行動の検知(歩いている,走っている)
• セキュリティー(空港や駅などの不審者検知)
• インタラクティブ(スマートルーム)
このようなアプリケーションに対する要...
4
研究背景
現在の監視システム
• カメラにて撮影した動画をそのまま中央管理センターに送信
• 中央管理センターにて人が検知する
システムの大規模化,カメラの高精細化が進む
システムの生成するデータ量が増加
ネットワークの輻輳を引き起こす
前...
5
関連研究 - センサネットワーク
複数センサを活用した人物検知,追跡,位置推定の研究が進む
• レーザースキャナを利用した人物位置推定[1]
• スマートフォンのセンサを利用した人物位置推定[2]
[1] Y. Wada, T. Higuc...
6
関連研究 - センサネットワーク
カメラによって構成されるセンサネットワーク,
ビジュアルセンサネットワーク(VSN)[3]
データとして,動画像を収集できる
画像処理技術を活用することで,様々なタスクに応用可能
計算資源,ストレージなどの...
7
関連研究 - エッジコンピューティング
ユーザに近い場所にサーバーを配置
• クラウドコンピューティングでネックとなってい
た通信遅延を改善
• エッジサーバーでデータの前処理を行うことで,
トラフィック量を削減
エッジサーバー
エンドユー...
8
提案システム
高品質な監視映像システム
a)高精度なイベント検知(e.g.,人物追跡)
b)低遅延な警告メッセージ配信
c)低負荷なネットワーク
の 3 つの要求条件
• エッジコンピューティング技術
• 複数センサを活用したイベント検...
9
提案システム - 概要図
監視エリアに
接近
ビデオセグメント
センサーデータ
制御メッセージ
エッジサーバー
複数センサ
カメラ
監視エリア
(e.g., 踏切)
電車
クラウドサーバー
駅
 監視映像
 検知イベント (アラート)...
10
提案システム - 概要図
監視エリアに
接近
Video segments
Sensor data
制御メッセージ
エッジサーバー
複数センサ
カメラ
監視エリア
(e.g.,踏切)
電車
クラウドサーバー
駅
 Monitoring ...
11
提案システム - 概要図
Approach to
monitoring field
ビデオセグメント
センサデータ
制御メッセージ
エッジサーバー
Multi-modal sensors
カメラ
監視エリア
(e.g., 踏切)
Trai...
12
提案システム - 概要図
監視エリアに
接近
Video segments
Sensor data
Control
message
エッジサーバー
Multi-modal sensors
Camera
監視エリア
(e.g.,踏切)
電車...
13
提案システム - 概要図
監視エリアに
接近
ビデオセグメント
センサーデータ
制御メッセージ
エッジサーバー
複数センサ
カメラ
監視エリア
(e.g., 踏切)
電車
クラウドサーバー
駅
Low latency delivery
...
14
提案システム - 概要図
監視エリアに
接近
ビデオセグメント
センサーデータ
制御メッセージ
エッジサーバー
複数センサ
カメラ
監視エリア
(e.g., 踏切)
電車
クラウドサーバー
駅
 監視映像
 検知イベント(アラート)...
15
提案システム - プロトタイプ
提案システムのプロトタイプを実装,評価
監視対象エリアを踏切と想定
踏切内における
• 人の有無
• 動作(動いているか,止まっているか)
を複数のセンサを活用して検知
16
提案システム - プロトタイプ
利用するセンサ
• レーザースキャナ[5]
• Windows PCでデータ収集
• 赤外線測距センサ[6]
• Arduino + Raspberry Pi3 でデータ収集
• Webカメラ[7]
• L...
17
提案システム - プロトタイプで用いるセンサ
レーザースキャナ
扇形の領域に対して周期的にレーザー光を照射
物体からの反射光の伝搬遅延時間を計測,物体位置推定を行う
背景差分手法[8, 9]を利用し人物検知,追跡を行う
[8] Y. Wa...
18
提案システム - プロトタイプで用いるセンサ
赤外線測距センサ
直線上の物体までの距離を計測
レーザースキャナと比較して機能は劣るが,安価で複数設置可能
システムに冗長性を持たせるために使用
出入り口に配置,人物の通過検知,人数検知を行う
19
提案システム - プロトタイプで用いるセンサ
Webカメラ
動画像による人物検知を行う
HOG特徴量およびオプティカルフローを活用し
た人物検知手法[10]
[10]S. Saika, S. Takahashi, M. Takeuchi,...
20
提案システム - ネットワークトポロジー
エッジサーバー
検知処理
検知結果
センサーデータ
レーザースキャナ,測距センサは
エッジサーバーにセンサーデータを送信
カメラはカメラ自身の計算資源を使用し検知,
検知結果のみエッジに送信
セン...
21
提案システム - イベント定義
表のようにイベントを定義,イベントに応じて動画品質を変更
イベント定義 監視対象 対象の状態 動画品質
危険度:高 歩行者 停止 高
危険度:中 歩行者 移動 中
危険度:低 歩行者 存在しない 低
...
22
提案システム - レート制御
動画像圧縮レートについて
ネットワークの帯域 > 圧縮レート
とならなければいけない
式(1)のようにレートRを選択する
),,min( // backboneaccesshighmiddlelow BBRR...
23
評価実験
提案システムを評価するために,研究室内にセンサを設置,実装
センサ,動画像データを取得後,イベントを判定
判定結果をもとにビットレートを変更してエンコーディング
データサイズについて評価
24
評価実験 - 実験環境
環境
図
赤外線測距センサ
レーザースキャナ
Web カメラ
赤外線測距センサ
3650mm
2100mm
25
評価実験 - 実験シナリオ
シナリオ
表
No.
歩行者の
数
停止の有
無
1 1 無
2 2 無
3 1 有
4 2 有:1,
無:1
5 2 有:2
No. 危険度:高 危険度:中 危険度:低
1 Default Default D...
26
評価実験 - 実験結果(シナリオ5)
動画
27
評価実験 - 実験結果
1秒毎のデータサイズおよび検知された危険度の推移
危険度:中
危険度:低
危険度:高
検知ミスの発生
28
評価実験 - 実験結果
結果
グラフ2
動画像圧縮レートの組み合わせ間の
シナリオ全体におけるデータサイズの比較
29
まとめ
複数センサを活用したイベントドリブン型レート制御手法を提案
カメラ,レーザースキャナ,赤外線測距センサを活用し
イベント検知
危険度に応じて配信する動画像の品質を変化
結果→約60%にデータ量を抑えることに成功
30
今後の課題
イベント検知について
今回はセンサーベース,動画像ベースのORを取った
→より良い選択の仕方があるのではないか
検知の結果について
→QoSとしてどのように評価尺度を設定するか
実地検証
→実地にてシステムを実装,評価を...
Q & A
1. 研究背景
2. 関連研究
3. 提案システム
4. 評価実験
5. まとめ
6. 今後の課題
1
Upcoming SlideShare
Loading in …5
×

監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価

2016年11月,MoNA研究会での発表資料です.

  • Be the first to comment

  • Be the first to like this

監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価

  1. 1. 監視映像システムのための複数センサを活用した イベントドリブン型適応レート制御の性能評価 Performance Evaluations of Event-driven Rate Adaptation Using Multimodal Sensors for Video Surveillance System 小川啓吾 金井謙治 竹内健 甲藤二郎 津田利隆 Keigo Ogawa, Kenji Kanai, Masaru Takeuchi, Jiro Katto, Toshitaka Tsuda Waseda University
  2. 2. アウトライン 1. 研究背景 2. 関連研究 3. 提案システム 4. 評価実験 5. まとめ 6. 今後の課題 1
  3. 3. NICT 「ソーシャル・ビッグデータ利活用・基盤技術の研究開発」 鉄道とその周辺による情報センシング・通信ネット ワーク基盤 2 クラウド  土砂災害予測  車両搭載センサからのデータ収集 ・センサー データ ・監視映像 データ エッジサーバ 高品質な映像 モニタリ ング 公衆網/自衛網 高機能ネット ワーク ・エッジキャッシング ・エッジコンピューティ ング  地上設置センサからのデータ収集 : Senor nodes : Data aggregation nodes
  4. 4. 3 研究背景 映像監視(video surveillance)システムの普及 • 行動の検知(歩いている,走っている) • セキュリティー(空港や駅などの不審者検知) • インタラクティブ(スマートルーム) このようなアプリケーションに対する要求 • 高精度であること • 低遅延であること • システムがネットワーク帯域を圧迫しないこと
  5. 5. 4 研究背景 現在の監視システム • カメラにて撮影した動画をそのまま中央管理センターに送信 • 中央管理センターにて人が検知する システムの大規模化,カメラの高精細化が進む システムの生成するデータ量が増加 ネットワークの輻輳を引き起こす 前処理を行い,ネットワーク負荷を緩和する スマートな監視システムが求められている
  6. 6. 5 関連研究 - センサネットワーク 複数センサを活用した人物検知,追跡,位置推定の研究が進む • レーザースキャナを利用した人物位置推定[1] • スマートフォンのセンサを利用した人物位置推定[2] [1] Y. Wada, T. Higuchi, H. Yamaguchi, and T. Higashino, “Accurate positioning of mobile phones in a crowd using laser range scanners,” IEEE WiMob., pp. 430– 435, 2013. [2] Jiang Xiao, Zimu Zhou, Youwen Yi, Lionel M. Ni, “A Survey on Wireless Indoor Localization from the Device Perspective”,ACM Computing Surveys, 49.2, p25, 2016
  7. 7. 6 関連研究 - センサネットワーク カメラによって構成されるセンサネットワーク, ビジュアルセンサネットワーク(VSN)[3] データとして,動画像を収集できる 画像処理技術を活用することで,様々なタスクに応用可能 計算資源,ストレージなどの リソースをどのように割り当てるか という研究課題 [3] Youssef Charfi, Bell Canada, Naoki Wakamiya, Masayuki Murata, “Challenging Issues in Visual Sensor Networks”, IEEE Wireless Communications, 16.2, pp44-49, 2009
  8. 8. 7 関連研究 - エッジコンピューティング ユーザに近い場所にサーバーを配置 • クラウドコンピューティングでネックとなってい た通信遅延を改善 • エッジサーバーでデータの前処理を行うことで, トラフィック量を削減 エッジサーバー エンドユーザー エッジサーバー クラウドサーバー
  9. 9. 8 提案システム 高品質な監視映像システム a)高精度なイベント検知(e.g.,人物追跡) b)低遅延な警告メッセージ配信 c)低負荷なネットワーク の 3 つの要求条件 • エッジコンピューティング技術 • 複数センサを活用したイベント検知 • イベントドリブンレート制御 により要求を達成するシステムを提案
  10. 10. 9 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅  監視映像  検知イベント (アラート) 低遅延通信  イベント検知/予測  動画品質制御  コンテンツキャッシュ エッジ処理 トラフィック削減
  11. 11. 10 提案システム - 概要図 監視エリアに 接近 Video segments Sensor data 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g.,踏切) 電車 クラウドサーバー 駅  Monitoring video  Detected event (Alert) Low latency delivery  Event detection/prediction  Control video quality  Content caching Edge processing トラフィック削減 監視エリアに カメラ,センサを設置 センサ,カメラ端末から物理的 に近い位置に計算資源を配置 (エッジサーバー) データはクラウドサーバーに蓄積 システムの情報を利用する エンドユーザ(駅,監視エリ ア近くの電車など)
  12. 12. 11 提案システム - 概要図 Approach to monitoring field ビデオセグメント センサデータ 制御メッセージ エッジサーバー Multi-modal sensors カメラ 監視エリア (e.g., 踏切) Train cars クラウドサーバー 駅  監視映像  検知イベント (アラート) 低遅延通信  イベント検知/予測  動画品質制御  コンテンツキャッシュ エッジ処理 Traffic reduction センサ,カメラから取得し たデータをエッジサーバー に送信,収集 エッジサーバーからセンサに 制御メッセージを送信 エッジサーバーではこれらの処理を行う
  13. 13. 12 提案システム - 概要図 監視エリアに 接近 Video segments Sensor data Control message エッジサーバー Multi-modal sensors Camera 監視エリア (e.g.,踏切) 電車 クラウドサーバー 駅  監視映像  検知イベント (アラート) 低遅延通信  イベント検知/予測  動画品質制御  コンテンツキャッシュ エッジ処理 トラフィック 削減 検知したイベント,動画をエン ドユーザ(駅,監視エリア近く の電車など)に低遅延で配信
  14. 14. 13 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅 Low latency delivery  Event detection/prediction  Control video quality  Content caching Edge processing トラフィック削減 エッジサーバーからクラウドサー バーにアップロード イベント情報を利用して,データ量を削減
  15. 15. 14 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅  監視映像  検知イベント(アラート) 低遅延通信  イベント検知/予測  動画品質制御  コンテンツキャッシュ エッジ処理 トラフィック削減
  16. 16. 15 提案システム - プロトタイプ 提案システムのプロトタイプを実装,評価 監視対象エリアを踏切と想定 踏切内における • 人の有無 • 動作(動いているか,止まっているか) を複数のセンサを活用して検知
  17. 17. 16 提案システム - プロトタイプ 利用するセンサ • レーザースキャナ[5] • Windows PCでデータ収集 • 赤外線測距センサ[6] • Arduino + Raspberry Pi3 でデータ収集 • Webカメラ[7] • Linux PCでデータ収集 [5] HOKUYO UST-20LX [online]: http://www.hokuyo-aut.jp/02sensor/07scanner/ust_10 lx_20lx.html [6] SHARP GP2Y0A21YK [online]: http://www.sharpsma.com/webfm_send/1208 [7] Logitech HD Pro Webcam C920 [online]: http://www.logitech.com/en-us/product/hd-pro-webc am-c920?crid=34
  18. 18. 17 提案システム - プロトタイプで用いるセンサ レーザースキャナ 扇形の領域に対して周期的にレーザー光を照射 物体からの反射光の伝搬遅延時間を計測,物体位置推定を行う 背景差分手法[8, 9]を利用し人物検知,追跡を行う [8] Y. Wada, T. Higuchi, H. Yamaguchi, and T. Higashino, “Accurate positioning of mobile phones in a crowd using laser range scanners”, IEEE WiMob., pp. 430– 435, 2013. [9]A. Fod, A. Howard, and M. Mataric, “A laser-based people tracker”,Proceedings of the 2002 IEEE International Conference on Robotics & Automation, pp. 3024–3029, 2002.
  19. 19. 18 提案システム - プロトタイプで用いるセンサ 赤外線測距センサ 直線上の物体までの距離を計測 レーザースキャナと比較して機能は劣るが,安価で複数設置可能 システムに冗長性を持たせるために使用 出入り口に配置,人物の通過検知,人数検知を行う
  20. 20. 19 提案システム - プロトタイプで用いるセンサ Webカメラ 動画像による人物検知を行う HOG特徴量およびオプティカルフローを活用し た人物検知手法[10] [10]S. Saika, S. Takahashi, M. Takeuchi, and J. Katto, “Accuracy Improvement in Human Detection Using HOG Features on Train-Mounted Camera,” IEEE GCCE 2016.
  21. 21. 20 提案システム - ネットワークトポロジー エッジサーバー 検知処理 検知結果 センサーデータ レーザースキャナ,測距センサは エッジサーバーにセンサーデータを送信 カメラはカメラ自身の計算資源を使用し検知, 検知結果のみエッジに送信 センサーベース,動画像ベースの 両手法のORを取り最終的な イベント判定を行う
  22. 22. 21 提案システム - イベント定義 表のようにイベントを定義,イベントに応じて動画品質を変更 イベント定義 監視対象 対象の状態 動画品質 危険度:高 歩行者 停止 高 危険度:中 歩行者 移動 中 危険度:低 歩行者 存在しない 低 危険度:高 危険度:中 危険度:低 ❗️停止 ⚠️移動 ✅無人 表1 イベント定義
  23. 23. 22 提案システム - レート制御 動画像圧縮レートについて ネットワークの帯域 > 圧縮レート とならなければいけない 式(1)のようにレートRを選択する ),,min( // backboneaccesshighmiddlelow BBRR  (1) BbackboneBaccess エッジサーバー クラウドサーバーカメラ Rlow/middle/high
  24. 24. 23 評価実験 提案システムを評価するために,研究室内にセンサを設置,実装 センサ,動画像データを取得後,イベントを判定 判定結果をもとにビットレートを変更してエンコーディング データサイズについて評価
  25. 25. 24 評価実験 - 実験環境 環境 図 赤外線測距センサ レーザースキャナ Web カメラ 赤外線測距センサ 3650mm 2100mm
  26. 26. 25 評価実験 - 実験シナリオ シナリオ 表 No. 歩行者の 数 停止の有 無 1 1 無 2 2 無 3 1 有 4 2 有:1, 無:1 5 2 有:2 No. 危険度:高 危険度:中 危険度:低 1 Default Default Default 2 Default Default 100kbps 3 Default 500kbps 100kbps 4 Default 1000kbps 500kbps ※Default: 3Mbps 表2 実験シナリオ 表3 動画像圧縮レートの組み合わせ
  27. 27. 26 評価実験 - 実験結果(シナリオ5) 動画
  28. 28. 27 評価実験 - 実験結果 1秒毎のデータサイズおよび検知された危険度の推移 危険度:中 危険度:低 危険度:高 検知ミスの発生
  29. 29. 28 評価実験 - 実験結果 結果 グラフ2 動画像圧縮レートの組み合わせ間の シナリオ全体におけるデータサイズの比較
  30. 30. 29 まとめ 複数センサを活用したイベントドリブン型レート制御手法を提案 カメラ,レーザースキャナ,赤外線測距センサを活用し イベント検知 危険度に応じて配信する動画像の品質を変化 結果→約60%にデータ量を抑えることに成功
  31. 31. 30 今後の課題 イベント検知について 今回はセンサーベース,動画像ベースのORを取った →より良い選択の仕方があるのではないか 検知の結果について →QoSとしてどのように評価尺度を設定するか 実地検証 →実地にてシステムを実装,評価を行う
  32. 32. Q & A 1. 研究背景 2. 関連研究 3. 提案システム 4. 評価実験 5. まとめ 6. 今後の課題 1

×