Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め

5,252 views

Published on

2016/2/9に実施されたHadoop Conference Japan 2016でのライトニングトークにおける「グラフデータベース事始め」の資料です

LT material for Hadoop Conference Japan 2016(2016/2/9)
Graph Database

Published in: Software

Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め

  1. 1. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グ ラ フ データベース事始め 日本オラクル株式会社 ビッグデータ系の製品とか担当エンジニア 中井亮矢(Ryoya.Nakai@oracle.com) 1 Hadoop Conference Japan 2016 ライトニングトーク
  2. 2. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | • 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する ものです。また、情報提供を唯一の目的とするものであり、いかなる契約 にも組み込むことはできません。以下の事項は、マテリアルやコード、機 能を提供することをコミットメント(確約)するものではないため、購買決定 を行う際の判断材料になさらないで下さい。オラクル製品に関して記載さ れている機能の開発、リリースおよび時期については、弊社の裁量により 決定されます。 2 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
  3. 3. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 3 何気に人気の グラフデータベース
  4. 4. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフブーム到来 4 出典:日経コンピュータ,ITPro出典:TechTarget Japan 出典:IT Leaders 出典:@IT
  5. 5. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフデータベース構築! 5 (*´∀`*)
  6. 6. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフデータベース サンプル動かしました! 映画俳優、共演、可視化! \(*T▽T*)/ 6
  7. 7. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフデータベース性能! 大規模!スケール! 沢山トラバーサル (`・ω・´)キリッ 7
  8. 8. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | が、、、 ふと立ち止まる・・・ (´・ω・`) 8
  9. 9. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 9 何に使えば・・・・ (ノω・、)
  10. 10. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 主たる(期待される)用途 いろんな非構造データの 受け皿・分析 10
  11. 11. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 受け皿 スキーマレス 色んなデータ あなた色で受けとめる (*/∇\*) 11
  12. 12. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 分析 知る 数値化,全体構造/個体の位置 見る 可視化 切る クラスタ・スコアリング 12 尊敬(Level:中) 信頼(6) 便利(頻度:週一) (事例:援軍) 尊敬(Level:兄貴)殺意(Level:MAX) 便利 [頻度:毎日] [事例:草履/殿軍] 恐怖(対象:没後) (対応:隔離) 3 1 2 2
  13. 13. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | よろしい ならば分析だ ( ゚д゚ )クワ 13
  14. 14. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | ありがちモデリング 14 ( ・∀・) ( ・ὢ・ ) (´▽`) (๑•﹏•)(´・ε・̥ˋ๑) ソーシャル データ (・ิω・ิ)
  15. 15. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | そんなデータ 社内にねぇ FBデータも買えねぇよ ヽ(`Д´#)ノ 15
  16. 16. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | そんなあなたに 2部グラフ 16
  17. 17. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | メールなんて結構お手軽 17 ( ・∀・) ( ・ὢ・ ) (´▽`) (๑•﹏•)(´・ε・̥ˋ๑) (・ิω・ิ) メーリングリストA スレA スレB 投稿 投稿 レス レス レス レス レス レス スレ単位もよし From/Toだけもよし キーワードでもよし
  18. 18. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 18 ( ・∀・) ( ・ὢ・ ) (´▽`) (๑•﹏•)(´・ε・̥ˋ๑) (・ิω・ิ) 人間グラフも作れます graphM %*% t(graphM)
  19. 19. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 19 スレのクラスターも作れます スレB スレC スレD スレA スレE スレF スレG メールの全自動仕分け
  20. 20. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 20 Visualized by Cytepscape 可視化 そのまま可視化でもなんかわかるかも
  21. 21. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフ化の前に 21 メール アーカイブ CC: も追加 投稿数で重みづけ レスの多さで重みづけ 投稿内容をQAと情報提供で分類 投稿文書のキーワード抽出 メーリングリストも対象に 少し味付け あとは結構、力技 正規化 集計 (group by) 形態素解析
  22. 22. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフ技 22 重要情報発信者隠れコミュニティ 隠れスキルホルダー 影のメーリス王者コミュ活性化のカギハブられっ子 コミュニティ抽出コンダクタンス 巨大ファイルアタッチメント派閥 座敷童情報伝達の方向 わかるかもしれないこと スコアリング 媒介中心性近接中心性固有ベクトル中心性可視化
  23. 23. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 仕事じゃねぇ ヽ(`Д´#)ノ 23
  24. 24. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 24 商品C 商品D商品A 商品B 商品E 顧客A 顧客B 顧客C 顧客D 売上単位でもよし 伝票単位でもよし 商品カテゴリでもよし 売上データ・・・
  25. 25. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 可視化 25 データ出典:新潟県ITビジネスフォーラム データ分析の勧め でっかいオーダーは 食彩鍋が基本でサイズ違い が同じ店舗で売れている 総売り上げのでかい天ぷら 鍋は意外とでっかいオー ダーに絡んでない
  26. 26. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 商品 データ グラフ化の前に 26 注文単位 店舗単位 売上額で重みづけ 売上個数で重みづけ 商品の粒度 商品カテゴリ 顧客の属性 店舗の属性 商品の属性 少し味付け あとは結局、力技 正規化 集計 (group by) 統計 技術者魂 店舗 データ 売り上げ データ
  27. 27. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフ技 27 売上優秀店舗の共通点 商品のクラスタ 隠れ優良店舗 隠れ優良商品 コミュニティ抽出コンダクタンス 店舗のクラスタ 意外な売れ線 顧客のクラスタ わかるかもしれないこと スコアリング 媒介中心性近接中心性固有ベクトル中心性 新規セット販売商材への道 商品の隠れた属性 可視化
  28. 28. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | グラフ技 28 売上優秀店舗の共通点 商品のクラスタ 隠れ優良店舗 隠れ優良商品 コミュニティ抽出コンダクタンス 店舗のクラスタ 意外な売れ線 顧客のクラスタ わかるかもしれないこと スコアリング 媒介中心性近接中心性固有ベクトル中心性 新規セット販売商材への道 商品の隠れた属性 可視化 結局やることはほとんど同じです
  29. 29. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 行形式のデータでも、、 29 伝票番号 商品CD 商品名 大分類名 分類名 売上日 得意先名 売上 数 売上金額 粗利益 1001439 2305200Pオイルポット 1.2L 鍋類 フライパン 2012/7/1B配送センタ 44 15620 2640 accessログでも crawl139.tkl.iis.u-tokyo.ac.jp - - [08/Feb/2016:05:57:47 +0900] "GET /uploads/2012/03/20140530-A1-10-low.jpg HTTP/1.1" 304 - "http://www.takahiroyoshikawa.com/ja/concert/" "Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)"
  30. 30. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | たいてい関心事を絡めて グラフを興せます 30
  31. 31. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 31 データを 探す データを 突っ込む 知る 見る 切る なんか 分かる 味付けを 探す
  32. 32. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | さあ、 データを探そう! 32
  33. 33. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | PGX Parallel Graph AnalytiX (PGX) • 並列グラフ解析エンジンPGX – Oracle Labの成果物PGXをベースに実装されています – 製品版(Big Data Spatial and Graph)は、これをベースに拡張されたものになります – Apache TinkerPop対応 – 30超のアルゴリズム実装 • 中心性演算,SALSA, 頂点被覆,PageRank,コミュニティ抽出,グラフ変換,弱連結成分抽出,counting triangle...etc. – 並列グラフ演算は昨今活発に研究開発が行われている領域になりSCなどのHPC領域でもOracle Laboratories からの論文発表も活発に行われています • Oracle Lab版PGXはOTNのOracle Labsからダウンロードして利用可能です 33 Oracle Technology Network >> Oracle Labs >> Parallel Graph Analytics >> Overview Welcome to Parallel Graph Analytics (PGX) http://www.oracle.com/technetwork/oracle-labs/parallel-graph-analytics/overview/index.html ロイヤリティフリー (OTN License) このページは広告です >>>スキップする Oracle PGX
  34. 34. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | ご清聴ありがとうございました その他、Hadoop関連Oracle製品↓ www.slideshare.net/oracle4engineer/ oraclehadoop 34
  35. 35. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 35 0120-155-096 (平日9:00-12:00 / 13:00-18:00) http://www.oracle.com/jp/direct/index.html 各種無償支援サービスもございます。 Oracle Direct 検索 Oracle Direct あなたにいちばん近いオラクル
  36. 36. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 36
  37. 37. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 37

×