Spark GraphXについて @Spark Meetup 2014/9/8
•
4 likes•1,590 views
Spark GraphXについて @Spark Meetup 2014/9/8
Recommended
More Related Content
Similar to Spark GraphXについて @Spark Meetup 2014/9/8
Similar to Spark GraphXについて @Spark Meetup 2014/9/8 (20)
More from 鉄平 土佐
More from 鉄平 土佐 (18)
Recently uploaded
Recently uploaded (9)
Spark GraphXについて @Spark Meetup 2014/9/8
- 1. Spark Meetup at 2014/09/08 G r a p h X は S c a l a エンジニアにとっての ブルーオーシャン @teppei_tosa https://www.flickr.com/photos/exalthim/337922734
- 2. Who am I ? @teppei_tosa F i n a n c e I T E n g i n e e r ! Asakusa / Hadoop / Scala / Play Framework / Spark / GraphX https://www.flickr.com/photos/exalthim/337922734
- 3. • Sparkのコンポーネントのひとつ • 並列グラフ計算処理システム • グラフ構造データと表構造データの並列分散処 理をひとつのシステムで実装することが可能 https://www.flickr.com/photos/exalthim/337922734
- 4. グラフ計算処理の例： ページランク 1を頂点の数で割った数値を各0.33 0.33 0.33 頂点の値としてセット 0.17 0.17 0.33 0.33 各頂点の値を、各頂点から出て いるリンク数で割って、そのリ ンク先の頂点に配布 接続してきているリンクから渡っ0.17 0.50 0.33 て来た値を加算して自分の頂点 の値としてセット 各頂点の値が収束するま で繰り返し、この値をラ ンクポイントとする https://www.flickr.com/photos/exalthim/337922734
- 5. グラフ計算の並列分散処理の難しさ 頂点間での接続情報があるため頂点毎に分散し ての計算処理は、分散処理間での通信が必要に なってしう （Apache Giraphはインフラのための分散協調機構である ZooKeeperを活用している） https://www.flickr.com/photos/exalthim/337922734
- 6. グラフ構造データと表構造データの処理を統一 Apache Giraph 10 20 GraphX 30 1 100 3 110 120 200 2 [1,10,[2,100]] [2,20,[3,110]] [3,30,[1,200],[2,120]] ID VAL 1 10 2 20 3 30 SRC TGT VAL 1 2 100 2 3 110 3 2 120 3 1 200 val graph = Graph.fromEdges graph.joinVertices(…) https://www.flickr.com/photos/exalthim/337922734
- 7. あなたの周りにもグラフデータ Social Network Train Network Data Network https://www.flickr.com/photos/exalthim/337922734
- 8. グラフデータを使ってできること Eveluate Vertex Clustering Graph Shape Flow on Graph Predict Link
- 9. G r a p h X は まだまだ未成熟 • Web上の情報少ない • R の igraph が揃えて いるのような関数が全 く揃っていない https://www.flickr.com/photos/exalthim/337922734 https://www.flickr.com/photos/katedot/8272997562
- 10. • GraphXの日本語訳ドキュメント https://gist.github.com/ironpeace/9306874 https://www.flickr.com/photos/exalthim/337922734
- 11. • グラフビジュアルツール https://github.com/ironpeace/graph-web https://www.flickr.com/photos/exalthim/337922734
- 12. S c a l a エンジニアは有利 • ScalaのCollection APIに似たAPIでグラ フデータを扱うことができる • 頻出する再帰処理の実装がし易い • 関数の実装がし易い https://www.flickr.com/photos/exalthim/337922734
- 13. O t h e r G r a p h - p a r a l l e l C o m p u t a t i o n S y s t e m Giraph GraphLab GraphX Speed Slow Ver y Fa s t F a s t New S t a b l e New New Lang Java P y thon S c a l a https://www.flickr.com/photos/exalthim/337922734 ( P y t h o n / J a v a ) ETL D i ff i c u l t Easy Easy L i b NO Ver y Good Few
- 14. G r a p h X はブルーオーシャン！ • GraphXはグラフ構造データの並列分散処理機構 として優れている • グラフ構造データを扱えるようになることでこれ まで実現できなかったことができるようになる • GraphX はまだ未熟 • Scalaエンジニアはグラフデータの扱いに優位！ https://www.flickr.com/photos/exalthim/337922734
- 15. S p a r k- J o b S e r v e r • “Spark as a Service” • SparkのjobとcontextのREST APIを提供 • いかなる環境・言語からもSparkを扱うことが可能 • Job間でひとつのcontextを共有 • Job間でキャッシュされたRDDを共有 • 同期/非同期API。JOB結果をJSON応答。 https://www.flickr.com/photos/exalthim/337922734
- 16. https://www.flickr.com/photos/exalthim/337922734 context Cached RDD JOB JOB JOB Spark-JobServer Spark Web AP Server Web Client Web Client Web Client REST API REST API REST API
- 17. Thank you ! Get the Graph Power! @teppei_tosa https://www.flickr.com/photos/exalthim/337922734