Developers [Social Enterprise] Summit 2012 A1

2,673 views

Published on

Developers [Social Enterprise] Summit 2012

2012/07/27

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,673
On SlideShare
0
From Embeds
0
Number of Embeds
131
Actions
Shares
0
Downloads
53
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

Developers [Social Enterprise] Summit 2012 A1

  1. 1. ソーシャルデータストリームから垣間見る 今後のエンタープライズアーキテクチャ考 A-1 CAC Corporation夏サミ2012ハッシュタグ Systems Architect◆夏サミ全体 #natsumi facebook: kohei.kumazawa【A-1】#natsumiA1 Developers[Social Enterprise] Summit 2012 (A-1)
  2. 2. Profile http://www.facebook.com/kohei.kumazawa職種: Systems Architect名前: 熊澤公平1987年 東北大学工学研究科機械工学専攻博士前期課程修了 スパコン(並列処理)の 数値解析 アーキテクチャ同年 株式会社リクルートに入社2003年 株式会社シーエーシーに転職 (ネット業界におけるビジネスおよびシステムコンサル) 大規模WEBインフラの アーキテクチャ2003年 東京大学工学部システム創成学科 非常勤講師~2009年 (Javaプログラミング基礎演習) ビジネスとシステムの アーキテクチャ2008年 横浜国立大学院工学府 非常勤講師~2010年 (システムマネージメント) Developers[Social Enterprise] Summit 2012 (A-1)
  3. 3. 1. デブは伝染する! デベ Developers[Social Enterprise] Summit 2012 (A-1)
  4. 4. 知っていますか? デブは伝染するって 友人同士の会話 Developers[Social Enterprise] Summit 2012 (A-1)
  5. 5. 最近ふとっちゃって…. いやいやそんなことないよDevelopers[Social Enterprise] Summit 2012 (A-1)
  6. 6. 最近ふとっちゃって…. いやいやそんなことないよDevelopers[Social Enterprise] Summit 2012 (A-1)
  7. 7. 同じくら い普通 なら…. デブ閾値の増加Developers[Social Enterprise] Summit 2012 (A-1)
  8. 8. 同じくら い普通 なら…. デブ閾値の増加Developers[Social Enterprise] Summit 2012 (A-1)
  9. 9. 最近ふとっちゃって…. いやいやそんな ことないよDevelopers[Social Enterprise] Summit 2012 (A-1)
  10. 10. Developers[Social Enterprise] Summit 2012 (A-1)
  11. 11. Developers[Social Enterprise] Summit 2012 (A-1)
  12. 12. Developers[Social Enterprise] Summit 2012 (A-1)
  13. 13. Developers[Social Enterprise] Summit 2012 (A-1)
  14. 14. Developers[Social Enterprise] Summit 2012 (A-1)
  15. 15. Developers[Social Enterprise] Summit 2012 (A-1)
  16. 16. Developers[Social Enterprise] Summit 2012 (A-1)
  17. 17. Developers[Social Enterprise] Summit 2012 (A-1)
  18. 18. そして皆、デブになった…..。Developers[Social Enterprise] Summit 2012 (A-1)
  19. 19. 都市伝説ではありません 米国、マサチューセッツ州、1万2067人を32年間追跡調査  あなたの親友が肥満になった場合、あなたが肥満になる確率は57%増加  また、兄弟姉妹が肥満になった場合、あなたが肥満になる確率は40%増加  夫婦は、37%増加  片方向のみ友人と思っている場合は、無関係。 丸の大きさがBMI値に比例 黄色が30以上、緑が30未満 黄色ばっかりに……http://christakis.med.harvard.edu/ Developers[Social Enterprise] Summit 2012 (A-1)
  20. 20. Developers[Social Enterprise] Summit 2012 (A-1)
  21. 21. 本日のお題はソーシャルエンタープライズ企業におけるソーシャルコミュニケーションの活用?  メール、掲示板、グループウエア、昔からコミュニ ケーションツールはいろいろありますよね。  でも…..、あるだけになっていませんか?  活発ですか? 面白いですか? Developers[Social Enterprise] Summit 2012 (A-1)
  22. 22. 本日お話したいこと 会話の流れを見る ↓ 活性化:会話を刺激する ↓ 仕組みって? Developers[Social Enterprise] Summit 2012 (A-1)
  23. 23. 2.アクティブなソーシャルって? Developers[Social Enterprise] Summit 2012 (A-1)
  24. 24. Timeline 上 か ら 下 へ 流 れ て い く も の ・ ・ ・ ・ ・ ? Developers[Social Enterprise] Summit 2012 (A-1)
  25. 25. ソーシャルデータはダイナミックな流れであるソーシャルデータ → ソーシャルデータストリーム 同時多発で動的なもの London周辺でのtweetの時間推移 Developers[Social Enterprise] Summit 2012 (A-1)
  26. 26. 典型的なソーシャルモニタリングツールといえば Time series analysis(時系列解析) Developers[Social Enterprise] Summit 2012 (A-1) http://www.radian6.com/
  27. 27. 「ソーシャルストリーム・ビジネス Twitter、Facebook、iPhone時代の消費者を巻き込むビジネスの新ルール」より http://www.amazon.co.jp/gp/product/4844328956/ ソーシャルデータストリームの時系列パターン  4つのパターン 閲覧数 パルス クォリティ パターン パターン F=80~100% F=20~80% 時間 ブレーク 複数の パターン 組み合わせ F=0~20% Developers[Social Enterprise] Summit 2012 (A-1)
  28. 28. 時系列パターンとアクティブ度再生数 パルスパターン クオリティパターン 時間 平均CTR: 0.01% 平均CTR: 0.6% ブレークパターン 複数の組み合わせ 平均CTR: 2.3% これが 重要 Developers[Social Enterprise] Summit 2012 (A-1)
  29. 29. 3. アクティブなソーシャルの構造? Developers[Social Enterprise] Summit 2012 (A-1)
  30. 30. ソーシャルデータストリームにはグラフ構造がある Developers[Social Enterprise] Summit 2012 (A-1)
  31. 31. 構造を見てみよう: グラフ分析ツールTool  Pajek http://vlado.fmf.uni-lj.si/pub/networks/pajek/  Graphviz http://www.graphviz.org  NetDraw https://sites.google.com/site/netdrawsoftware/  Graphi http://oss.infoscience.co.jp/gephi/gephi.org/index.html  NodeXL http://nodexl.codeplex.com/R  sna  network graph  igraph  inetowork Developers[Social Enterprise] Summit 2012 (A-1)
  32. 32. ソーシャルデータストリームの構造例 NHK科学文化部 LHC アトラス実験 日本グループ “ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17-18 Developers[Social Enterprise] Summit 2012 (A-1)
  33. 33. ソーシャルデータストリームの構造例“ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17:28-17:43 Developers[Social Enterprise] Summit 2012 (A-1)
  34. 34. 伝播パターン 花火パターン 数珠つなぎ パターン Developers[Social Enterprise] Summit 2012 (A-1)
  35. 35. 瞬間的に広がる 時間差がある伝播パターン 持続しない 議論が持続する 花火パターン 数珠つなぎ パターン Developers[Social Enterprise] Summit 2012 (A-1)
  36. 36. 伝播パターン: ブレークパターン=数珠つなぎパターン 120 100 80 60 40 20 時間差がある 議論が持続し、 F=10.7% 0 盛り上がりがある“ヒッグス”が含まれているtweetの伝播の様子2012/7/7 0:00-16:00 UTC Developers[Social Enterprise] Summit 2012 (A-1)
  37. 37. 4. アクティブなソーシャルに仕向けられれば Developers[Social Enterprise] Summit 2012 (A-1)
  38. 38. ハッシュタグ:コミュニティ同志をつなげる デブサミに来ています! #devsum デブサミ面白いです! #devsum #devsum #rubyjp RT デブサミ面白いで す!@aaa ありがとうござ ? います! #devsum #rubyjp 媒介者になる (媒介中心性) (Betweenness centrality) Developers[Social Enterprise] Summit 2012 (A-1)
  39. 39. 例)浦安水情報 小さなコミュニティ 大きなコミュニティ 浦安の水情報をオープン しました #urayasu_water 拡散希望 浦安水情報 #urayasu_water #urayasu_water #urayasu RT ありがとうございま す! 拡散希望 浦安水 情報 #urayasu_water #urayasu Developers[Social Enterprise] Summit 2012 (A-1)
  40. 40. 0 100 200 300 400 500 600 03月12日-… 03月12日-… 03月12日-… 03月12日-… 03月12日-… 03月12日-… 03月12日-… 03月12日-… の流入 03月12日-… 03月12日-… 03月12日-… #urayasu_water単独 03月12日-… #urayasuから 03月13日-… 03月13日-… #urayasu+#urayasu_water 03月13日-… Gross Audience フォロワー数 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月13日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月14日-… 03月15日-… 03月15日-…Developers[Social Enterprise] Summit 2012 (A-1) 03月15日-… 03月15日-… 03月15日-… 03月15日-… 03月15日-… 03月15日-… 03月15日-… 03月15日-… 例)#urayasu → #urayasu_water 03月15日-… 03月15日-… 0 20000 60000 80000 40000 100000 120000 140000 160000 180000
  41. 41. 例)#urayasu → #urayasu_water初期(3/12-3/13 8:00):シンプルな構造 翌々日:複雑な構造 Developers[Social Enterprise] Summit 2012 (A-1)
  42. 42. 10 20 30 40 50 60 70 0 03月12日-00時 03月12日-04時 03月12日-08時 03月12日-12時 03月12日-16時 03月12日-20時 03月13日-00時 03月13日-04時 03月13日-08時 03月13日-12時 03月13日-16時 03月13日-20時 03月14日-00時 03月14日-04時 03月14日-08時 03月14日-12時 03月14日-16時 03月14日-20時 03月15日-00時 03月15日-04時 例)ブレークパターンに 03月15日-08時 03月15日-12時 03月15日-16時 03月15日-20時 03月16日-00時 03月16日-04時 03月16日-08時 03月16日-12時 03月16日-16時 03月16日-20時 03月17日-00時 03月17日-04時 03月17日-08時Developers[Social Enterprise] Summit 2012 (A-1) 03月17日-12時 03月17日-16時 03月17日-20時 03月18日-00時 03月18日-04時 03月18日-08時 03月18日-12時 03月18日-16時 03月18日-20時 03月19日-00時 03月19日-04時 03月19日-08時 03月19日-12時
  43. 43. 5. アーキテクチャ考: データからストリームへ Developers[Social Enterprise] Summit 2012 (A-1)
  44. 44. ソーシャルコミュニケーションの活性化 ソーシャルデータストリームは生きている → 常に見ておかなければならない Developers[Social Enterprise] Summit 2012 (A-1)
  45. 45. ストリームデータ管理・CEP ソーシャルデータのすべてが必要なのだろうか?  分析が終わっている時には流れは変わっていますよね  変化した時にアラートがでれば十分なのでは? Developers[Social Enterprise] Summit 2012 (A-1)
  46. 46. ストリームデータ管理・CEP DATA DATA Query DATA DATA DATA Query DATA DATA DATA DATA DATA DATA Event DATA DATA DBMS DSMS Developers[Social Enterprise] Summit 2012 (A-1)
  47. 47. ソーシャルデータ → ソーシャルデータストリーム 流れの変化を見つけ、アクション tweet tweet data stream Social data CEP database Action Action貯めて分析し、アクション Analytics Action Monitor Action Developers[Social Enterprise] Summit 2012 (A-1)
  48. 48. 事例)Streambase 検知したいことを 定義 モニターにアラーtwitterのtweetを トを表示入力ストリームとして定義 必要な一部分のみを 全体を設計し、組み 上げていく 作り、逐次組み上げ ていく Integration approach Synthetic approach http://www.streambase.com Developers[Social Enterprise] Summit 2012 (A-1)
  49. 49. 大量データにも対応 BigDataも 対応可能に! Big Data S4, C-MR, storm MapReduce Online, jubat.us Distributed Big Analytics MapReduce Stream Management DEDUCE Esper Legacy DSMS,CEP Streambase Small Data Oracle, WS Stored Real time Sybase/SAPJubatusS4 http://research.preferred.jp/2011/10/jubatus/ http://incubator.apache.org/s4/ Big ProcessingC-MR http://cs.brown.edu/~backman/cmr.htmlMapReduce Online http://www.usenix.org/event/nsdi10/tech/full_papers/condie.pdfDEDUCE http://www.edbt.org/Proceedings/2010-Lausanne/edbt/papers/p0657-Kumar.pdf Developers[Social Enterprise] Summit 2012 (A-1)
  50. 50. Big Analytics : 分散オンライン解析 → どんどん提案が!  単純な分散は頻繁な更新が発生してしまう  各サーバー内で計算されるモデルをどう やって緩やかに同期するか例)グラフィカルモデルの分散処理Residual Splash for Optimally Parallelizing Belief Propagation(2009) http://www.cs.cmu.edu/~ylow/paraml_aistats2009.pdfOn Dense Pattern Mining in Graph Streams(2010) http://www.cs.kent.edu/~jin/Papers/vldb10_gseq.pdfGraphLab (2010) http://graphlab.org/ Developers[Social Enterprise] Summit 2012 (A-1)
  51. 51. GraphLab: 機械学習のための分散処理API CMUのMLグループが中心、HDFSとインテグレート、オープンソース Graph processing Graph Graphical Computer Topic Collaborative Analytics Models Vision Clustering Modeling Filtering Triangle Counting Pagerank GraphLab Version 2.1 API (C++) K-Cores Map/Reduce Ingress Collaborative Filtering Async.Sync. Engine ALS,Weighted ALS Fault Tolerance Engine Distributed Graph SGD, Biased SGD Graphical ModelsMPI/TCP-IP Comms PThreads Boost Hadoop/HDFS Loopy Belief Linux Cluster Services (Amazon AWS) Propagation Max product LP Computer VisionTwitter data 1536台 Image stitching 40M Users 423分 Feature extraction1.2B Edges 64台、1024 Cores Clustering 1.5分 K-Means++http://graphlab.org/ Developers[Social Enterprise] Summit 2012 (A-1)
  52. 52. ちょっと待ってDevelopers[Social Enterprise] Summit 2012 (A-1)
  53. 53. ちょっと待て、でも必要なのはアラート情報 ソーシャルデータを自社にもってくる必要はある のでしょうかね? もともと外にあるソーシャルデータストリームは、 もってこずに、単に監視できればいいのでは? Developers[Social Enterprise] Summit 2012 (A-1)
  54. 54. ストリームデータはどこに? CEPも外へ CEP tweet Alert stream CEP Action CEPは中 Action Monitoring Monitor Action Action Monitorin the enterprise in the enterprise Developers[Social Enterprise] Summit 2012 (A-1)
  55. 55. ストリームマイニングクラウド 分析装置  Opera solutions ストリーム 検知装置 ここにソーシャル データストリーム が入れば完璧だ が…..。 Developers[Social Enterprise] Summit 2012 (A-1) http://www.operasolutions.com/
  56. 56. 国内でもストリームマイニングフレームワーク リアルタイム• Structured Perceptron [Collins, EMNLP 2002] 2011年• Passive Aggressive / MIRA 2004~• oll: online-learning library [岡野原, 2008] ユバタス プリファードインフラストラクチャー社小規模 大規模単体 WEKA The University 分散処理 of Waikato 1993年 2006年 1998年 バッチ Special thanks to Preferred Infrastructure. http://jubat.us/ http://preferred.jp Developers[Social Enterprise] Summit 2012 (A-1)
  57. 57. SalesForce/Radian6 + Twitter Firehose ※Firehoseは、全公開ツイートをリアルタイムに取得可能な機能 Developers[Social Enterprise] Summit 2012 (A-1)
  58. 58. まとめ:Enterprise socialto public CEP Data mart Business application Data mart Sub system CRM Business application Data mart Sub system ESB Business application Sub system データはためて分析(処理)する データプロセッシング Developers[Social Enterprise] Summit 2012 (A-1)
  59. 59. まとめ:Social enterprise 見方を変えよう Stream data analysis platform CEP Cloud CEPBusiness application Data mart Sub systemBusiness application Sub system ESB CRM Social enterprise cockpitBusiness application Sub system パブリックなソーシャルデータ Data mart Legacy systems ストリームからリアルタイムに情報を得る Developers[Social Enterprise] Summit 2012 (A-1)
  60. 60. まとめ: データプロセッシングデベロッパーから ストリームデータデベロッパーにL.up! Developers[Social Enterprise] Summit 2012 (A-1)
  61. 61. Shall we hack stream! Thank you.https://www.facebook.com/kohei.kumazawa http://www.nasa.gov/mission_pages/sdo/multimedia/potw/potw-106.html Developers[Social Enterprise] Summit 2012 (A-1)

×