Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』

7,726 views

Published on

http://eventdots.jp/event/168366

講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』
ビッグデータの解析において分析軸が定まらない初期段階で、データをありのままの状態で可視化(俯瞰)し、気付き/発見を得て仮説立案、詳細分析へと進める解析技術を、実例を交えてご紹介します。

Published in: Data & Analytics
  • Follow the link, new dating source: ❶❶❶ http://bit.ly/2F90ZZC ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ♥♥♥ http://bit.ly/2F90ZZC ♥♥♥
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

データサイエンティスト協会 木曜勉強会 #02 講演2:『ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビッグデータの活用~』

  1. 1. ビッグデータの0次分析手法と適用例のご紹介 ~俯瞰から始まる企業内ビックデータの活用~ 2014年10月16日 サイバネットシステム株式会社 IT事業部 矢野弘海 データサイエンティスト協会木曜勉強会
  2. 2. CYBERNET SYSTEMS Co., LTD All Rights Reserved サイバネットシステム概要 名称: サイバネットシステム株式会社(東証一部4312) Cybernet Systems Co., Ltd. 本社: 東京都千代田区神田練塀町3番地富士ソフトビル 拠点: 西日本支社(大阪)、中部支社(名古屋) 設立: 1985年4月17日 資本金: 995百万円 社員数: 連結544名、個別342名(2014年3月31日現在) 事業内容: CAEソリューション及びITソリューションの提供 (プロダクト販売、受託解析、コンサルティング、CAEソフトウェア開発) 開発元提携先: ANSYS社、Synopsys社、Cadence社など米国中心に20社 子会社 連結Maplesoft(カナダ) 対話的数式処理ソフトウェア「Maple」及び複合物理モデリング環境「MapleSim」 の開発、販売、サポート Noesis Solutions NV(ベルギー) PIDOツールの開発、販売、技術サポートの提供 Sigmetrix,LLC(米国) 公差解析ソフトウェアの開発、販売、技術サポートの提供 莎益博工程系統開発(上海)有限公司(中国) EDA、光学系CAEソリューション、制御系CAEソリューションの提供 サイバネットシステムコリア株式会社(韓国) Maple、MapleSimを中心としたCAEソリューションの提供 非連結思渤科技股份有限公司(台湾) EDA、光学系、制御系CAEソリューションの提供 2
  3. 3. ITソリューション ITインフラ構築 IT資産管理 セキュリティ ITパフォーマンス向上 業務パフォーマンス改善 ビッグデータ ビッグデータ可視化 特許解析 ものづくり支援ツール 最適設計支援 製品イノベーション支援 CYBERNET SYSTEMS Co., LTD All Rights Reserved 事業全体図 CAEトータル・ソリューション企業 光学 電気・電子 制御 数式処理 画像処理 機械 ・・・・ ITインフラ構築 IT資産管理 セキュリティ ITパフォーマンス向上 業務パフォーマンス改善 ビッグデータ ビッグデータ可視化 特許解析 ものづくり支援ツール 最適設計支援 製品イノベーション支援 技術サポート CAE教育 ユーザ技術教育 導入・運用コンサルタント 受託解析サービス 統合/カストマイズ・サービス 3
  4. 4. ビッグデータ解析に新たな提案 CYBERNET SYSTEMS Co., LTD All Rights Reserved 4
  5. 5. ビッグデータ時代の情報検索の課題 CYBERNET SYSTEMS 5 Co., LTD All Rights Reserved 従来型情報検索の限界 (KW検索+リスト表示の限界) 有 効 情 報 比 率 検索表示件数 リスト表示 閲覧限界 2000 2010 2020 モバイル化による 限界の加速 画面サイズは1/3に ・表示件数は減少 ・ヒット率(検索精度)も減少 ビッグデータ時代 課題① 検索精度の格段の向上 課題② 表示件数の拡大&容易な絞り込み 次世代の検索&表示手法が必要に!
  6. 6. 「見える化」ソリューション:toorPIA 課題① 検索精度の格段の向上課題② 表示件数の拡大 容易な絞り込み CYBERNET SYSTEMS 6 Co., LTD All Rights Reserved (従来)KW検索/分類 概念検索 (従来)リスト表示 マップ表示 コンピュータ技術の 格段の進歩 ・意味的に近い情報を互いに近くに配置 ・膨大な件数を表示可能 ・ピンチアウトにより探したい領域をズームアップ →欲しい情報をまとめて探し当てられる • ベクトル空間モデルにより情報間の距離を定量化 →互いの内容の近さが数値化される • 入力条件が詳しいほど、より正確に条件に近い情報 を抽出できる 【toorPIA】 「見える化検索」エンジン +toorPIA-GUI
  7. 7. 天気予報における「見える」化のメリット CYBERNET SYSTEMS 7 Co., LTD All Rights Reserved 現状のビッグデータの状況 ・ 「見える」化できれば! 今後の天気が予想できる! ・天気 ・気温、雨量、・・ ・風力、風向、・・ マップ化 (見える化) 「見える化」により 人間の直感が機能する! ・ 緯度、軽度、気圧、風 速、風向、温度、雨 量、・・・・ どう分析すれば いいの? ビッグデータの可視化による将来予測 1.現状を把握 2.過去からの状態遷移の把握 3.将来予測
  8. 8. 分析のためには仮説立案が重要 「仮説は誰が?」 「どう立案?」 すでに分かっている事象から仮説を立てている CYBERNET SYSTEMS Co., LTD All Rights Reserved ビッグデータ解析の課題 ビッグデータは処理しきれないほど膨大なデータ量 しかし、ビッグデータを活用するためには、処理しなければな らない 「処理可能なデータに切り出す?」 「サンプリング?」 「結果には驚きがない」 「気づきがない」 8
  9. 9. CYBERNET SYSTEMS Co., LTD All Rights Reserved ビッグデータ0次分析 膨大なビッグデータを見える化(マップ化)し、気付きを生み出し、 更なる解析、施策のための仮説立案を支援する 9 BIツールで解析 アプリ開発
  10. 10. データ可視化により、売上増に繋がる施策の アイデアを生み出す CYBERNET SYSTEMS Co., LTD All Rights Reserved 事例紹介 POSデータの解析による スーパーのマーケティングでの活用例 スーパーチェーンのPOSからのポイントカード IDと購入製品の履歴データ 目的: 対象データ: 10
  11. 11. 事例紹介:俯瞰 toorPIAで可視化(マップ化)を実行。 一人一人の購買データを入力 して、購買動向の類似性から マップ化。 特性別に七つの購買層が色 濃く出現した メインの客層 毎日、食材を買いに来る お客様 CYBERNET SYSTEMS Co., LTD All Rights Reserved 11
  12. 12. 今まで認識していなかった 客層に気づく CYBERNET SYSTEMS Co., LTD All Rights Reserved 事例紹介:属性探査/気づき 気になる範囲のデータを詳細 に解析し、集団の属性分析を 行なう。 ・特売日・休日に、食材を買い に来るお客様 ・エコバックを利用する 12
  13. 13. この層の売上を拡大するためには? 来店頻度を高める?購入商品の拡大? CYBERNET SYSTEMS Co., LTD All Rights Reserved 事例紹介:仮説/プランニング このお客様を賢い主婦層と名付けましょう。 エコに対する意識が高そうだね。 キャンペーンに対する感応度も高そうだ。 平日のタイムセールのお知らせを渡せば、平日も来 てくれるようになるのでは? オーガニック食品や、エコパッケージを使用した食 品に反応するのでは? 13
  14. 14. 事例紹介:キャンペーン実施/評価 CYBERNET SYSTEMS Co., LTD All Rights Reserved じゃぁ、結果を確認しましょう。 この層の1週間の売上が上がっ たわね。 頻度、商品種別も増えた。 賢い主婦層の島が、メイン層 に近づいたね。 14
  15. 15. •戦略の改善•気付きと発見 •マーケティング戦略 CYBERNET SYSTEMS Co., LTD All Rights Reserved 1to1マーケティングへの活用Step 1.ビッグデータ全体を可視化(マップ化)し俯瞰 2.マップを操作して探査(気づき/発見) ・顧客属性 ・地域性 ・用途等など 3.目的に対してマーケティング戦略の仮説立案 4.施策実行 5.時系列のマップ比較により、レビュー効果を確認 •プランの実施 •マップによる効果の 確認 15
  16. 16. ビッグデータ『見える化』のためのミドルウェア CYBERNET SYSTEMS Co., LTD All Rights Reserved toorPIA
  17. 17. toorPIAソフトウェア構成(概念図) CYBERNET SYSTEMS 17 Co., LTD All Rights Reserved 球面視覚化 エンジン 準階層的クラスタ Hadoop & 汎用KVS NonHadoop 既存フレームワークとの連携も可能 既存フレームワークとの連携も可能 最適ソリューションを選択 最適ソリューションを選択 & 汎用KVS Hadoop & NoSQL 解析エンジン maguna API連携 iterra qlus R&D Naviなど 球面/平面上にMAP化 ビッグデータを高速でクラスタ化 法人向け最適化 MapReduce&KVS ttoooorrPPIIAA App
  18. 18. CYBERNET SYSTEMS 18 Co., LTD All Rights Reserved コア技術: maguna • オンプレミス、プライベートクラウド上 で構築でき秘密情報を扱える • 高性能ノードの能力を最大限に活用 (低レイテンシ) • 1ノードのみで稼動可能 (コストパフォーマンス高) • リアルタイム処理に対応 maguna Enter- Prise (R&D etc) FFiinnaaccee Marke ting qqlluuss,, iitteerrrraa,, eettcc.. ON-Premises 又は PPuubblliicc CClloouudd ((AAWWSS eettcc)) Private Cloud (高列並列& 高速Storage)
  19. 19. CYBERNET SYSTEMS Co., LTD All Rights Reserved コア技術:クラスタ化と可視化 19
  20. 20. データ処理(MapR)系計算機リソース (1台〜) サービス系計算機リソース (1台〜) CYBERNET SYSTEMS Co., LTD All Rights Reserved システム構成例 ログデータ (Rawデータ) SNSデータ (Rawデータ) 収集 収集 Mapper Parser shuffle&sort Reducer Parser ログデータ用 Key-Value (NoSQL) ログデータの メタ属性 (SQL) SNS用 Key-Value (NoSQL) SNSデータの メタ属性 (SQL) 専用Viewer API 又は専用アプリ カスタマイズ部分 パッケージ標準機能 DB構築 目的および業務に 最適なViewerや アプリケーションを 開発 ・・・ 20
  21. 21. ビッグデータと「見える化」アプリケーション  知財情報  医療情報  法曹関連情報  犯罪情報  履歴書/求人情報  Twitter  Facebook  Blog  POSデータ  顧客販売データ  センサーデータ  Logデータ  投稿画像/映像 ④④機機器器ロロググ分分析析 マクロ /俯瞰分析 CYBERNET SYSTEMS Co., LTD All Rights Reserved ②②リリススククママネネーージジメメンントト ①特許調査/係争 (RDN) ミクロ分析 リアルタイム性 /最新性 時間軸 静的分析 (累積/蓄積) ②②ニニュューースス 範囲 ①①人人材材ママッッチチンンググ ④④運運転転分分析析//警警報報 ③③顧顧客客デデーータタ分分析析 ①特許調査/係争 (RDN) ②②ママーーケケテティィンンググ ④④イインンフフララ劣劣化化分分析析 ①①医医学学情情報報提提供供 ③③PPOOSSデデーータタ分分析析 販売データ リッチテキスト 短文データ ログ・センサー データ ⑤⑤映映像像ニニュューースス ミクロ分析:近いものを探すマクロ分析:全体の傾向を見る リアルタイム分析:最新のデータの動きを見る静的分析:蓄積データから分析 21
  22. 22. 実用例: R&D Navi (特許を見える化) CYBERNET SYSTEMS 22 Co., LTD All Rights Reserved
  23. 23. 例)知財からM&A戦略を可視化 内視鏡分野における ・オリンパス ・富士フイルム ・ソニー の関係をマップ化 各社の注力する技術領域 競合する領域が一目で把 握できる CYBERNET SYSTEMS 23 Co., LTD All Rights Reserved
  24. 24. toorPIA解析例 CYBERNET SYSTEMS 24 Co., LTD All Rights Reserved
  25. 25. W ik ip e d ia (ja )の全貌 仮想世界の情報 CYBERNET SYSTEMS 25 Co., LTD All Rights Reserved to o r 現実の世界の情報 Wikipedia(ja)分析 • 解析内容 – Wikipedia (ja)80万件をtoPIA で解析して球面配置 • 結果 – 欧米言語でも見られる現実世 界の情報大陸(法人、個人、 地域、百科事典的情報)の他 に、日本語コンテンツ特有の 仮想世界の情報大陸(オタク 系、秋葉原系、アニオタ、サブ カル系情報)の存在を示すこ とができた。 – 球面上に配置することで「情 報の端」をなくすことができ、 広範な情報を無理なく配置す ることができた
  26. 26. 特売日に来る顧客。 惣菜や出来合いのモノが主。 (めんどくさがり屋?) 毎日買いに来る顧客。 牛乳・たまご・豆腐を中心に 広範な商品を買う層。 合わせてレジ袋買う層 カレーや煮物材料メイン やきとりメイン。 日中に来る客。 高齢者 +コロッケ +フルーツ 特売日および休日に来る顧客。 牛乳・たまご・豆腐を中心に 広範な商品を買う層。ただし、 レジ袋は買わない層。 (賢い主婦層?) +魚 CYBERNET SYSTEMS 26 Co., LTD All Rights Reserved POSデータ解析 • 解析内容 – スーパーマーケットのPOSデー タ解析。 – ポイントカード利用者の購買履 を解析 • 結果 – 購買者の購買行動(購買物の 組み合わせの特徴)のみから購 買者を7つの層に分類すること ができた – また、これらのユーザ分類は、 時間帯によってダイナミックに変 換することが確認できた • 活用 – 時間帯&ユーザ分類を考慮し たレコメンデーションのベースと しての活用 – 特売等のイベントの影響を確認 しつつ、戦略的な新規顧客層の 拡大を狙う – 材料と栄養素の関係から、栄養 の偏りによる健康リスクを評価 して顧客へフィードバックする新 しいサービス展開 20 15 10 5 0 -5 -10 -15 -20 -20 -15 -10 -5 0 5 10 15 20
  27. 27. 従来分析法だと早期発見が 困難な新規の口コミ・評判 よくある口コミ&評判 (マクロ分析ターゲット、 大勢の把握) CYBERNET SYSTEMS 27 Co., LTD All Rights Reserved Twitter解析 • 解析内容 – あるカテゴリにに関する口コミtweetを 解析 – ReplyやRTといったコンテンツ間の依 存関係を一切加味せず、記述内容の みに基いて分析 • 結果 – 短文から成るtwitterコンテンツについ ても、コンテンツの意味の類似性に基 いて分類可能。 – これにより、大勢を占める通常意見と 、新しくインフレーションの兆しを見せ る意見とを区別して識別することが可 能となる • 活用 – Twitter Streaming APIを利用したユーザによ る口コミのリアルタイム観測 – 時間とともにマップが徐々に変化する様子が 確認できる。 – 新しい評判情報のインフレーションをいち早く 発見できる • 従来型の「特定キーワードに関連する tweet数の増減解析」だけでは、未知のキ ーワードを伴う口コミのインフレーションを 見逃してしまうが、toPIAによる解析では、 未知のキーワードの出現にもリアルタイム で対応可能 20 10 0 -10 -20 -20 -10 0 10 20
  28. 28. 機そ器のロ他グ分析解例析(機に器よロるグ故によ障る予故知障予知) CYBERNET SYSTEMS Co., LTD All Rights Reserved 正常稼働 ゾーングレー ゾーン 故障ゾーン 過去のログと故障発生記録の比較 分析から、【正常】【故障】ゾーンか らなる白地図を作成する。 この上に日々更新される最新ログ をリアルタイムプロットする。 グレーゾーンをウォッチすることに よって、故障発生の予兆を早期に 検出し、故障を未然に防ぐことがで きる。 28

×