Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SNS情報を通して見るホットスポットの分析

718 views

Published on

Autonomous選手権〜JDMCコラボ編〜発表資料です。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

SNS情報を通して見るホットスポットの分析

  1. 1. 第二回 Autonomous選手権 「SNS情報を通して見るホットスポットの分析」 チーム:SBIホールディングス+アシスト 1©2019 SBIホールディングス+アシスト@Autonomous選手権
  2. 2. 目次 • Introduction • 今回の発表テーマ • システム構成 • Demo • 結果と考察 • 感想 2©2019 SBIホールディングス+アシスト@Autonomous選手権
  3. 3. Introduction • 気づいたら参加していた1年目、2年目のデータサイエンティスト • 「取りまとめよろしく」のヒトコトで参加したパッケージインテグレーターの技術者 • さて、どうしましょう・・・ • 趣味・・・共通点無し • 年代・・・若者二人とオジサン手前が一人 • 特技・・・バラバラ • 最初のMTG二回くらいはテーマ出しで悪戦苦闘・・・・ 3©2019 SBIホールディングス+アシスト@Autonomous選手権
  4. 4. まずは、オープンデータについて調べてみた http://www.data.go.jp/ http://opendata-portal.metro.tokyo.jp/www/index.html https://www.opendata-training.org/ https://www.e-stat.go.jp/statistics-by-theme/ 4©2019 SBIホールディングス+アシスト@Autonomous選手権
  5. 5. まずは、オープンデータについて調べてみた http://www.data.go.jp/ http://opendata-portal.metro.tokyo.jp/www/index.html https://www.opendata-training.org/ https://www.e-stat.go.jp/statistics-by-theme/ まとまり始めているが、 「分析するため」ではなく、 まだまだ「オープンデータに 取り組んでいることを示す」 ために収集されている! あらゆる縦割りが 作用しており、 コード体系や名称が まとめられていないため 繋がらない! 「報告書」 になっているものが多く、 「データ」として 提供されているものが 極端に少ない! わざわざExcelがPDFに・・ 5©2019 SBIホールディングス+アシスト@Autonomous選手権
  6. 6. とりあえず出来そうなことをやってみよう 「人」に紐付いた情報を どうにかして取りたい! ↓ SNS よし、どこに旅行に行くかデータから決めよう! 位置情報と アンマッチ APIの提供終了 6 位置情報が連動できたらおもしろい? ↓ 位置情報と人が関連しそうなデータ ©2019 SBIホールディングス+アシスト@Autonomous選手権
  7. 7. 夢のマルチクラウド構想図 Cloud Scadular Pub/Sub Cloud Function Blob Storage Data Bricks Cloud Strage Analitics Cloud データ取得 機械学習 データ可視化 もう一つ特徴を・・・ 7©2019 SBIホールディングス+アシスト@Autonomous選手権
  8. 8. 夢のマルチクラウド構想図 Cloud Scadular Pub/Sub Cloud Function Blob Storage Data Bricks Cloud Strage Analitics Cloud データ取得 機械学習 データ可視化 もう一つ特徴を・・・ 夢にして おきましょう 8©2019 SBIホールディングス+アシスト@Autonomous選手権
  9. 9. 今回の構成 + 各サービスからPythonを利用してAPI 経由でデータを取得 必要に応じて形態素解析 取得したデータをSQL Developer 経由でOACにアップロード OAC上で加工、可視化、分析 9©2019 SBIホールディングス+アシスト@Autonomous選手権
  10. 10. テーマ決めとデータ準備に手間取った結果・・・ 思ったより、Oracle Analytics Cloud が色々出来る強力なクラウド基盤だと 気付いたのは、5日前・・・・ データフローが便利! 思ったより表現豊富! ※使いにくいのは 慣れの問題? 10©2019 SBIホールディングス+アシスト@Autonomous選手権
  11. 11. Demo 11©2019 SBIホールディングス+アシスト@Autonomous選手権
  12. 12. 12 温泉情報のマッピング 都道府県やマップの位置 を選択することで、効能、 泉質、温泉紹介が分かる ©2019 SBIホールディングス+アシスト@Autonomous選手権
  13. 13. 13 都道府県別ツイート(「温泉」に関するツイート) 都道府県ごとに温泉と一緒 につぶやかれているキー ワードを可視化できる 静岡県は「カエル」!? ©2019 SBIホールディングス+アシスト@Autonomous選手権
  14. 14. 14 時間帯別ツイート数 16~21時はつぶやき数が少ない ご飯を食べているからかも ©2019 SBIホールディングス+アシスト@Autonomous選手権
  15. 15. 15 都道府県別:ラーメン vs 寿司のツイート数 都道府県ごとの寿司とラーメン に関するつぶやきの割合 海に面していない県は寿司の割 合が少ないように見える ©2019 SBIホールディングス+アシスト@Autonomous選手権
  16. 16. 16 駅別寿司関連ツイート数(石川県) 石川県の中でも 大聖寺は寿司に関するつぶやき が多い ©2019 SBIホールディングス+アシスト@Autonomous選手権
  17. 17. 17 大聖寺周辺のすし屋・ラーメン屋 ぐるなびAPI出取得した 大聖寺駅周辺の寿司店情報 ©2019 SBIホールディングス+アシスト@Autonomous選手権
  18. 18. 分析結果 • 静岡の河津に行って、カエルを見に行きがてら温泉に入ろう! • 石川の大聖寺駅でお寿司を堪能して、8番ラーメンで締めよう! 18 SNSとオープンデータから、楽しい旅行が計画できました♪ ©2019 SBIホールディングス+アシスト@Autonomous選手権
  19. 19. Tips • 緯度経度は「メジャー」ではなく「属性」で扱う • 処理できる件数はOCPUに依存(1CPU:125,000) • 変に計算せずに、Analytics Cloudに任せるが吉 など やはりCloudでも慣れが必要なのはオンプレと同じ。 今後Cloudでのデータ分析が盛り上がると感じました。 何年後かには一般人がこんな風に旅行先をデータで決めるのが当たり前になるかも? Oracle Analytics Cloudについて学んだこと 19©2019 SBIホールディングス+アシスト@Autonomous選手権

×