Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Wi-Fiのassociation logを用いた
人流解析にMongoDB使ってみた
システム開発者
福崎 昭伸(Fukuzaki Akinobu)
Centimani株式会社CEO、NII(国立情報学研究所)特任研究員。
大学での専門は協調工学を踏まえた遠隔教育技術。米国スタンフォード大学との共同研
究でProject Bas...
mongoDBのおかげで研究が捗った!
3all rights reserved by Centimani co.
2016/07 知り合いの教授から打診
2016/08 研究所入所
csv 6,416,951行 1.1GB
mongoでゴニョ...
群流センサデータの
活用例
インバウンド観光客の動きを可視化
<研究所での研究内容>
4
*人流は個人のトラッキ
ングをイメージしてしま
うため、人の群れの流れ
=群流とした
概要
• インバウンド観光客がどのように動いているかを可視化するシステムを開発
• プライバシー保護のため一定の条件を満たした統計化情報を可視化する仕組み
を持つ
• 流れに注目することで、ある場所を訪れた観光客がその後どこを訪れたかなど
複雑...
インバウンド観光客の動きを可視化するシステム
を開発
6
事前に登録・データ利用の同意を得たインバウンド観光客(235人)を対象に
東京マラソンが開催された当日の群流を可視化(10サンプル以上の条件のみ)
スタート地点のあった新宿エリア、ゴール...
インバウンド観光客の動きを可視化するシステム
を開発
7
その群流が夜になると新宿歌舞伎町や上野、池袋などへ移動していることが判明
プライバシー保護
8
地点1から地点2へ日中に移動したサンプル
→ 12サンプル抽出
移動元、移動先、移動開始時刻、移動終了時刻など、群流抽出の条件を設定し、それぞ
れの値で抽出されるサンプルの数が10以上のもののみ表示することで、個人特定を防...
群流の条件絞り込み
9
TrackID、場所from-to、時間from-to
例:観光シーズンの日曜日 例:お昼ごろ
例:A地点にいた、AからBへ移動した、Cの範囲にいた
例:16サンプルいた!
例:この人達はこのあと何処に寄ったか?
場所、...
需要の発見
10
群流を詳細に見ることで、人気のスポットの発見などで観光開発をしたり、災害対策と
して人々の居場所や流れを把握することで、救助を必要としている場所や誘導が必要な
ポイントを絞り込むことに役立つ。
システムの概要
11all rights reserved by Centimani co.
対象となるデータ
Research Institute of Social Data Innovation 12
対象の場所をセンシングし、対象のIDとセンシングされた場所と時刻が記録されるもの
Track collection
Research Institute of Social Data Innovation 13
TrackID
個体識別子
TimeWindow
日時、時間枠の識別子
Place
場所、場所の識別子
Value...
TTPP collection
Research Institute of Social Data Innovation 14
TTPを前後関係で並べてfrom、toとしてPairにしたものをTTPPとする。
以下のようなルールで生成する。
・...
逐次処理のシステム構成例
Research Institute of Social Data Innovation 15
TrackID
個体識別子
TimeWindow
日時
Place
場所の識別子
Value
その他の付属情報
Place...
集計処理のシステム構成例
TTP、TTPP集計Platform 16
TTPP collection
集計結果
集計条件
集計結果の可視化
応用例、商材紹介
17all rights reserved by Centimani co.
応用例
18all rights reserved by Centimani co.
群流解析は以下のような応用が考えられます
国策
・地域DMOなどの観光・地域産業の振興
・災害対策、被災者把握や物資需要の可視化
・イベントによる混雑、緊急時...
商店街などへの訪問者移動の交通量調査
19all rights reserved by Centimani co.
全国で展開しているWiFiサービスの接続記録情報から集計情報を抽出処理することで、
近隣のエリアから目的地である商店街へやって来...
商店街などへの訪問者移動の交通量調査
20all rights reserved by Centimani co.
JRの駅方面 私鉄の駅方面
大型商業施設方面
商店街などで主要な場所にWifiセンサーを設置して収集解析することで、どこから来て...
群流解析商品: インバウンド観光客宿泊特性分析
21
都道府県毎に前日、当日、翌日に何処にいたかをグラフ化することで、ある県に観光す
る前後の宿泊は何処かといった分析や、連泊するかなどが月・国籍毎に分析可能。
(近日サービス開始予定)
MongoDBでの実装
概要
• MongoDBに格納
• シミュレーションデータを生成
• 実例(githubで公開されています!!)
23
MongoDBにデータを格納
24all rights reserved by Centimani co.
TrackID
個体識別子
TimeWindow
日時
Place
場所の識別子
Value
その他の付属情報
Place
場所の識別子...
シミュレーションデータを生成
25all rights reserved by Centimani co.
TrackID
個体識別子
TimeWindow
日時
Place
場所の識別子
Place
場所の識別子
evidence TTP
T...
実例
26all rights reserved by Centimani co.
MongoDBにシミュレーションデータを挿入し、TTPやTTPPクエリを実際に試すためのマテ
リアル集をgithubで公開しています。是非お試し下さい。
htt...
Upcoming SlideShare
Loading in …5
×

Mongodb20170912

438 views

Published on

人流解析にMongoDBを使った事例の紹介です。MongoDBで実際にデモデータを生成しクエリを試せるマテリアル集も公開しています。

https://github.com/ak2i/mongodb_TTPP

Published in: Science
  • Be the first to comment

  • Be the first to like this

Mongodb20170912

  1. 1. Wi-Fiのassociation logを用いた 人流解析にMongoDB使ってみた
  2. 2. システム開発者 福崎 昭伸(Fukuzaki Akinobu) Centimani株式会社CEO、NII(国立情報学研究所)特任研究員。 大学での専門は協調工学を踏まえた遠隔教育技術。米国スタンフォード大学との共同研 究でProject Based Learningを遠隔で実施する研究を行う。理化学研究所では、ゲノムプロ ジェクトなどでの実験系の研究者を支援する情報処理システムの開発を行う。その後起業。 主な実績 ・都立科学技術大学大学院(現首都大学東京)において、遠隔教育システムの研究。 米Stanford大学との共同研究で、PBLと遠隔教育の実施 ・理化学研究所において、高度好熱菌のゲノム、ストラクチュローム解析プロジェクトに おける実験データ収集・分析システム開発 ・Think&Win(自社)において、機械産業技術財団常設技術展のテクニカルディレク ション、NTT西日本「ひかりグリッド」サービスシステム構築・運用支援 ・NTTグループにおいて、インフラ設計、調達調整、構築指揮、運用体制構築ののち、 各種ミドルの調達・構築や運用環境整備 ・Centimani(自社)において、社内フルスタックエンジニア研修システムの開発・構築・ 運用、オンライン研修システム開発、機械学習フレームワーク用プラットフォーム開発 ・eZ Systemsにおいて、CTOとして日本市場の開拓とパートナー企業グループの組織 all rights reserved by Centimani co. 2
  3. 3. mongoDBのおかげで研究が捗った! 3all rights reserved by Centimani co. 2016/07 知り合いの教授から打診 2016/08 研究所入所 csv 6,416,951行 1.1GB mongoでゴニョゴニョ 2016/09末ごろ TTPPのアイディアに至る 2016/12ごろ 翌3月のプレスリリース決定 2016/03/14 プレスリリース
  4. 4. 群流センサデータの 活用例 インバウンド観光客の動きを可視化 <研究所での研究内容> 4 *人流は個人のトラッキ ングをイメージしてしま うため、人の群れの流れ =群流とした
  5. 5. 概要 • インバウンド観光客がどのように動いているかを可視化するシステムを開発 • プライバシー保護のため一定の条件を満たした統計化情報を可視化する仕組み を持つ • 流れに注目することで、ある場所を訪れた観光客がその後どこを訪れたかなど 複雑な条件で絞り込みを行うことを特徴とする • 人気のスポットの発見など観光開発・災害対策などへの応用が期待される • 主要なソフトウェアはオープンソースソフトウェアとして公開予定 • NII(国立情報学研究所)において2016年度に開発 • http://www.nii.ac.jp/news/release/2017/0314.html • 国立研究開発法人 情報通信研究機構(NICT)の委託研究「ソーシャル・ビッグ データ利活用・基盤技術の研究開発について」の採択課題「ソーシャル・ビッ グデータ駆動の観光・防災政策決定支援基盤の研究開発」 として支援を受けて 実施 5
  6. 6. インバウンド観光客の動きを可視化するシステム を開発 6 事前に登録・データ利用の同意を得たインバウンド観光客(235人)を対象に 東京マラソンが開催された当日の群流を可視化(10サンプル以上の条件のみ) スタート地点のあった新宿エリア、ゴール地点付近の丸の内・銀座エリアに集中
  7. 7. インバウンド観光客の動きを可視化するシステム を開発 7 その群流が夜になると新宿歌舞伎町や上野、池袋などへ移動していることが判明
  8. 8. プライバシー保護 8 地点1から地点2へ日中に移動したサンプル → 12サンプル抽出 移動元、移動先、移動開始時刻、移動終了時刻など、群流抽出の条件を設定し、それぞ れの値で抽出されるサンプルの数が10以上のもののみ表示することで、個人特定を防ぐ 地点3から地点4へ夕刻に移動したサンプル → 5サンプル抽出 地点1から地点2へ移動した群流=約10サンプル 地点1 地点2 条件を満たさないため表示せず
  9. 9. 群流の条件絞り込み 9 TrackID、場所from-to、時間from-to 例:観光シーズンの日曜日 例:お昼ごろ 例:A地点にいた、AからBへ移動した、Cの範囲にいた 例:16サンプルいた! 例:この人達はこのあと何処に寄ったか? 場所、時間の組み合わせ条件と、TrackIDに基づく紐付けで群流を検索することが可能
  10. 10. 需要の発見 10 群流を詳細に見ることで、人気のスポットの発見などで観光開発をしたり、災害対策と して人々の居場所や流れを把握することで、救助を必要としている場所や誘導が必要な ポイントを絞り込むことに役立つ。
  11. 11. システムの概要 11all rights reserved by Centimani co.
  12. 12. 対象となるデータ Research Institute of Social Data Innovation 12 対象の場所をセンシングし、対象のIDとセンシングされた場所と時刻が記録されるもの
  13. 13. Track collection Research Institute of Social Data Innovation 13 TrackID 個体識別子 TimeWindow 日時、時間枠の識別子 Place 場所、場所の識別子 Value その他の付属情報 センシングされた事象を保存。ただし、検索しやすいようにTimeWindowやPlaceにはセン ス値だけでなく、必要な階級値や識別子も付与する。 TrackID、TimeWindow、Place以外の要素はValueとする。 このエントリーをTTPと呼ぶ。Track collectionにTTPを保存する。
  14. 14. TTPP collection Research Institute of Social Data Innovation 14 TTPを前後関係で並べてfrom、toとしてPairにしたものをTTPPとする。 以下のようなルールで生成する。 ・TTPをTrackIDごとに集める ・時刻でソートする ・隣あっているものをつないでTTPPエントリーとする ・同じ場所のものが続く場合は前の吸収させる このように作成したTTPPをTTPP collectionに保存する。
  15. 15. 逐次処理のシステム構成例 Research Institute of Social Data Innovation 15 TrackID 個体識別子 TimeWindow 日時 Place 場所の識別子 Value その他の付属情報 Place 場所の識別子 evidence TTP TTP TTPP メタ情報保管DB TrackID毎のTTPバッファー Track collection TTPP collection
  16. 16. 集計処理のシステム構成例 TTP、TTPP集計Platform 16 TTPP collection 集計結果 集計条件 集計結果の可視化
  17. 17. 応用例、商材紹介 17all rights reserved by Centimani co.
  18. 18. 応用例 18all rights reserved by Centimani co. 群流解析は以下のような応用が考えられます 国策 ・地域DMOなどの観光・地域産業の振興 ・災害対策、被災者把握や物資需要の可視化 ・イベントによる混雑、緊急時の誘導・警備計画 地域 ・訪問者数向上政策(イベントや優遇策)の効果測定 民間 ・消費者の流れの把握(どういった施設、店舗に寄ったか) ・地域間の消費者の流れの把握(何処から来た人が何処へ行くか)
  19. 19. 商店街などへの訪問者移動の交通量調査 19all rights reserved by Centimani co. 全国で展開しているWiFiサービスの接続記録情報から集計情報を抽出処理することで、 近隣のエリアから目的地である商店街へやって来た人々の数を調査する事が可能。ただ し、情報は都道府県、市町村、郵便番号区の場所で時刻は1時間単位。(グローバルセン サープラン利用) 隣町1 ターミナル街 隣町2 商店街
  20. 20. 商店街などへの訪問者移動の交通量調査 20all rights reserved by Centimani co. JRの駅方面 私鉄の駅方面 大型商業施設方面 商店街などで主要な場所にWifiセンサーを設置して収集解析することで、どこから来てど こへ行った人が商店街のどの場所にどのくらい滞在したかなどが計測できる。いわゆる 機械でできる交通量調査で、どちらから来たかなどの追加情報を含めた集計データが即 日得られる。イベントなどの効果測定などにも利用可能。(独自センサープラン利用)
  21. 21. 群流解析商品: インバウンド観光客宿泊特性分析 21 都道府県毎に前日、当日、翌日に何処にいたかをグラフ化することで、ある県に観光す る前後の宿泊は何処かといった分析や、連泊するかなどが月・国籍毎に分析可能。 (近日サービス開始予定)
  22. 22. MongoDBでの実装
  23. 23. 概要 • MongoDBに格納 • シミュレーションデータを生成 • 実例(githubで公開されています!!) 23
  24. 24. MongoDBにデータを格納 24all rights reserved by Centimani co. TrackID 個体識別子 TimeWindow 日時 Place 場所の識別子 Value その他の付属情報 Place 場所の識別子 evidence TTP TTP TTPP メタ情報保管DB TrackID毎のTTPバッファー Track collection TTPP collection 実験で用いたデータはWi-Fiサービス事業者からTrackId、TimeWindow、Placeの情報に国籍 や性別、年代が付加されたCSVファイルを受け取り加工(Pythonスクリプト)して、 MongoDBに格納した。 MongoDB
  25. 25. シミュレーションデータを生成 25all rights reserved by Centimani co. TrackID 個体識別子 TimeWindow 日時 Place 場所の識別子 Place 場所の識別子 evidence TTP TTP TTPP marker collection TrackID毎のTTPバッファー track_demo collection ttpp_demo collection デモンストレーション用にモデルデータを生成し、そこからシミュレータースクリプト によってデモデータを生成、markerに入っている場所情報で情報を付加し、track_demoに TTPを、ttpp_demoにTTPPを格納。 ttpp_demo_model collection
  26. 26. 実例 26all rights reserved by Centimani co. MongoDBにシミュレーションデータを挿入し、TTPやTTPPクエリを実際に試すためのマテ リアル集をgithubで公開しています。是非お試し下さい。 https://github.com/ak2i/mongodb_TTPP 上記のデモを試すためにはMongoDBをお手元の環境にインストールしておく必要があり ます。詳しくは以下のサイトをご覧下さい。 https://www.mongodb.com マテリアル集に関しての問い合わせは上記githubのページでフィードバックをいただけれ ばと思います。またTTPPそのものに関しては福崎の個人メアドへお問い合わせください。 (コンサル業務や講演、演習のご依頼もこちらへ!) akki@centimani.biz

×