Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Tdc 20181121

76 views

Published on

TDC

Published in: Business
  • Login to see the comments

  • Be the first to like this

Tdc 20181121

  1. 1. 株式会社GRI データで新たな事業を開発していくカンパニー。 Tableau Developers Club Season 2 /*TableauのAPIすべて*/ デモ編 「Tableau外部連携デモ」 2018/11/21
  2. 2. 会社&自己紹介
  3. 3. ©GRI Inc.CONFIDENTIAL 古幡 征史, PhD 株式会社GRI 取締役 【略歴】  1973年生、横浜市出身、筑波大学卒、筑波大学大学院経営・政策科学研究科修了(MS)  University of Western Sydney, PhD in Computer Science(コンピューターサイエンス博士号)  Universite de Toulouse 1 Capitole, Doctorat en Informatique(コンピューターサイエンス博士号)très honorable avec félicitations du jury  丸文、KPMGコンサルティング、北陸先端科学技術大学院大学、University of Southern California、ドワンゴを経て、2016年9月より現職 【主要実績】 2009 Trading Agent Competition in Mechanism Design 優勝 2009-2010 東京証券取引所の現物市場における売買制度の特性に関する研究(東京証券取引所と共同研究) 市場急変に対応する予測手法の確立 (スパークス・アセット・マネージメント株式会社と共同研究) 2010 人工知能学会 優秀研究賞を受賞 2011-2013 Creating a Dynamic Ridesharing Market (“Treating Every Car as a Taxi”) (米国政府 運輸省) ANTIDOTE: Adaptive Networks for Threats and Intrusion Detection or Termination (ペンシルバ ニア大、マサチューセッツ大、南カリフォルニア大、MIT、ワシントン大の共同プロジェクト,米国政府 海軍研究所) 2016 「見える化」を含むデータ分析基盤構築サービスの提供を開始 【主要論文】  Masabumi Furuhata, Maged Dessouky, Fernando Ordóñez, Marc-Etiennce Brunet, Xiaoqing Wang, and Sven Koenig (2013) “Ridesharing: the state-of-the-art and future directions” Transportation Research Part B, 57, pp.28-46. ※交通工学分野の最難関論文誌にて、歴代ダウンロードランキング6位  古幡征史, 水田孝信, 曹治平(2010) “市場急変に対応する予測モデルの提案”, 第5回 人工知能学会 ファイナンスにおける人工知能応用研究会 (SIG-FIN), pp. 23-27.
  4. 4. ©GRI Inc.CONFIDENTIAL GRI: データで新たな事業を開発していく 挑戦することと企業の規模は無関係! テクノロジーの革新により、データを利活用した事業創造が可能になった時代だと考えています。それに応えるには裏づけの ある具体的な企画と事業を推進する圧倒的な意志が必要です。大企業の中で事業を創造するのも、ちいさな会社を作り上げる のも、やることに大差はありません。だからこそ、我々は起業家精神(entrepreneurship)を失うことを恐れる会社であり たいと思います。 当社の事業ドメインは、「解析(analysis)」を核とした事業開発です。POSデータやWebログ、位置情 報データ、センシングデータ、臨床実験データあるいは、環境測定データまで、あらゆるデータを利活用して事業開発に役立 てることに挑戦していきます。
  5. 5. ©GRI Inc.CONFIDENTIAL GRI会社概要 会社名 株式会社GRI (GRI Inc.) http://gri.jp 所在地 〒105-0011 東京都港区芝公園1-3-8 苔香園ビル5F 設立 2009年2月 資本金 4,600万円 代表者 代表取締役CEO 上野 勉 代表取締役COO 利齋 公晴 社員数 社員 15名、グループ会社含めて 計17名 事業内容 1.BIG DATAを利活用した事業開発に関わる支援 2.BIG DATAの収集および、BIG DATAの解析 3.BIG DATAの分析基盤(クラウド)の構築、見える化システムの提供 4.セルフ型ネットリサーチサービスの提供 5.AI型マッチングエンジンの開発 6.自然言語処理エンジンの導入、AI型チャットサービスの開発 7.Eコマースサイトの構築、パーソナライズエンジンの開発 8.データサイエンスまたは、人口知能(AI)分野における研究・研修・情報発信など 関連会社 株式会社アートダイジェスト(出版・編集、コンテンツ制作) 事業提携先 カルチュア・コンビニエンス・クラブ株式会社 株式会社日本リサーチセンター
  6. 6. ©GRI Inc.CONFIDENTIAL GRI 多くの会社に支えられてきました ■Tableau案件(3年で17社) • Gallery2 • カドカワ/Gzブレイン • ADK • グラニフ • トランス・コスモス • グリーンスタンプ • ハウス食品グループ • ライオン • 野村総研 • トヨタコネクテッド • ジブラルタ生命保険 • パソナキャリア • 双日インフィニティ • モニタス • JAF • リンクバル • イズミヤ データ分析・AI・可視化・開発・調査分析を実施
  7. 7. Tableau外部連携のデモ
  8. 8. ©GRI Inc.CONFIDENTIAL 解析の種類の再考察 記述的解析 Descriptive Analytics 診断的解析 Diagnostic Analytics 予期的解析 Predictive Analytics 処方的解析 Prescriptive Analytics 過去に起きた事実を データで示す (売上推移/前年比) 過去に起きたことの 理由を深堀りから 探索する (ドリルダウン) Business Intelligence Tableau/Qlik/PowerBI これから 何が起こるのか? (予測の実施) Machine Learning 情報 最適 Information Optimization 機械学習 これから何が、 なぜ起こり、 どうすべきか? (予測の解釈) • 時系列予測 • バスケット分析 • クレジット・スコア予測 • 優良顧客の定着 • 売れ筋商品の育成 • 売上推移 • 一人当たりの平均分析 • 商品ABC分析 • 顧客RFM分析 • 構成比の分析 • アクション・フィルタ • ストーリ・テリング Analytics Tools R/Python
  9. 9. ©GRI Inc.CONFIDENTIAL Tableau Developers Club – 2018/12/8 連携 連携 外部ツール連携 2018/12/8 Tableau Technical Support 岩橋さん https://techplay.jp/event/701437
  10. 10. ©GRI Inc.CONFIDENTIAL Tableau Technical Support岩橋さん http://lovedata.main.jp/ ↑の中の人
  11. 11. ©GRI Inc.CONFIDENTIAL RかPythonか? • 今からはじめ、好みがないならPython • 使いたいパッケージがRにしかない → Rを使う • 5年後には、RもPythonも裏側は統一される予定 → RでもPythonでも、どちらでも良い • プログラミング絶対に嫌だ → Exploratory(RをTableauっぽく動かす) Hadley Wickham Kan Nishida
  12. 12. ©GRI Inc.CONFIDENTIAL 外部ツール連携 RやPythonで、あっと言う間にできてしまう高度な分析を Tableauに取り込もう! Anomaly Detection(異常検知) Clustering(K-Means以外のクラスタリング)機械学習モデルの利用 ※注意 Time-Series Forecast(時系列予測) グラフ理論 G=(V, E) and more 色んな例を参加者の方から 発表していただければ
  13. 13. ©GRI Inc.CONFIDENTIAL グラフG=(V, E)の可視化 • 同一のVertices & Edgesでも配置アルゴリズムにより、グラフの解釈のしやすさが変わる • R/Pythonで配置座標を計算させ、それをTableauに戻し、ネットワークグラフの座標を変えられる (はず) 同一のFruchterman-Reingoldアルゴリズム でも、パラメタの設定で印象が変わる http://kateto.net/networks-r-igraph
  14. 14. ©GRI Inc.CONFIDENTIAL 大きな制約があります Tableau側で連携結果は、集約された状態です –集約後にレベルの変更が厳しいと思います Tableau Desktop, Serverは連携できます –Public/Online/Readerは不可だと思います デバッグできるような環境がないです –自分で正しい文法(R/Python)を事前に知っておく必要があります
  15. 15. Rでの時系列の連携例
  16. 16. ©GRI Inc.CONFIDENTIAL Tableauでの分析例
  17. 17. ©GRI Inc.CONFIDENTIAL Tableauの時系列予測の現状 予測の必要性 –実績の月内着地予想 –アクセル&ブレーキ Holt&Winters法の自動係数選択 –トレンドと季節性分解 Holt, C. E. (1957). Forecasting seasonals and trends by exponentially weighted averages (O.N.R. Memorandum No. 52). Carnegie Institute of Technology, Pittsburgh USA. https://doi.org/10.1016/j.ijforecast.2003.09.015 Winters, P. R. (1960). Forecasting sales by exponentially weighted moving averages. Management Science, 6, 324– 342. https://doi.org/10.1287/mnsc.6.3.324 トレンド 季節性 移動平均 分解 予測
  18. 18. ©GRI Inc.CONFIDENTIAL Holt&Winters法の問題点 細かな時間粒度のデータが 不得意 –マルチレベルの季節性 (月、曜日) –特殊イベント効果 (スーパーセール) –移動する祝日 –データ欠損
  19. 19. ©GRI Inc.CONFIDENTIAL Tableauで最新の時系列予測を利用 Facebook発のProphetアル ゴリズムを外部連携 –50年ほどの歴史を変えた –日次データ予測にOK –分析官が使いやすい • トレンド・マルチレベル季節・祝日 に分解 • 欠損値OK –Python/R(裏はStanをベース にC++) https://facebook.github.io/prophet/ Tableau 外部連携 or
  20. 20. ©GRI Inc.CONFIDENTIAL 事前準備 R/RstudioでRserveを起動して、Tableauから の通信を受け取れるようにしておく ■そもそもの事前準備 • RやRstudioをインストールしておく(anaconda 経由でRstudioを入れるのも良い) • RserveやProphetのパッケージをインストール しておく • ProphetはStanを必要とし、StanはRcppなどの 大量のパッケージを必要とする Tableau側で外部接続との通信設定 (menu) > ヘルプ > 設定とパフォーマンス > 外部接続の管理 接続の設定をする
  21. 21. ©GRI Inc.CONFIDENTIAL 時系列データ ds: 年月日(datestamp) y: Manningのwikiページへのアクセス数(自然対数)
  22. 22. ©GRI Inc.CONFIDENTIAL 予測をするための準備 - ①元のdsに対して、予測分の期間をパラ メタforecast_lengthで空けたds_paddedを 作成 ②欠損値の表示 y ds ds_padded 12 21 32 43 11/18 11/19 11/20 11/21 y 12 21 32 43 11/18 11/19 11/20 11/21 11/22 11/23 forecast_length=2のとき
  23. 23. ©GRI Inc.CONFIDENTIAL 予測するための設定 ①original_yをRから受け取る 「yがds_paddedだとpadding されてるのでオリジナルのy に戻す」 ②prophet_yをRから受け取る 「prophetアルゴリズムのも と、予測されたy」 ④予測対象期間に応じて、 prophet_yのfittedとforecastに 色を分ける ③表計算の実行レベルを ds_paddedの日に設定
  24. 24. ©GRI Inc.CONFIDENTIAL 予測するためのコマンド arg1 arg2 arg3 R Prophetライブラリのロード yベクトルの作成(SUM(Y)ベクトルの最後の要素(padされたも の)を元に戻す) dsベクトルの作成(引数2ベクトルの最後の要素(padされたも の)を元に戻す) df1データフレームを作成(yとdsで構成されるデータフレーム) Prophetでfitさせたmの作成 Prophetで予測する対象期間の データフレームfutureの作成 Prophetで予測の実行しforecastに格納 forecastのyhatカラムをTableauに戻す
  25. 25. 学習済みの機械学習モデルの利用
  26. 26. ©GRI Inc.CONFIDENTIAL 学習済みの機械学習モデルを利用 https://www.tableau.com/about/blog/2017/1/building-advanced-analytics-applications-tabpy-64916 Bora Beran Tableauのパラメタ Pythonの学習済み モデルをcall 計算フィールド scikit learnに入っている 乳がんデータの例 Tableauのワークシート
  27. 27. 宣伝: GRIのPython講座
  28. 28. ©GRI Inc.CONFIDENTIAL GRIのPython講座の紹介 2019年1月予定 2019年1月予定 ご興味ございましたらお声がけを 近日中に、英語版と中国版の提供予定 http://gri.jp/news

×