10回開催記念「データマイニング＋WEB ～データマイニング・機械学習活用による継続進化～」ー第10回データマイニング+WEB勉強会＠東京ー #TokyoWebmining

10th Anniversary TokyoWebmining 2011/02/27 10回開催記念データマイニング＋WEB～データマイニング・機械学習活用による継続進化～ hamadakoichi 濱田晃一

AGENDA ◆オープンコミュニティ ◆開催 ◆創設の思い・目的 ◆３つの進行方針 ◆活動事例紹介 ◆声と改善 ◆より有意義な場へ

データマイニング+WEB勉強会＠東京第１回－データマイニング入門ー第２回－クラスタリング入門－第３回－クラスタリング活用－第４回－WEB祭り－第５回－WEB解析・最適化祭り－第６回－ソーシャル・広告・最適化祭り－第７回－機械学習・解析・セマンティックウェブ祭り－第８回－大規模解析・ウェブ・クオンツ祭り第９回－1st Week－大規模解析・機械学習・クオンツ祭り－第９回－2nd Week－方法論・ソーシャル祭り－第10回－1st Week－広告ネットワーク・グラフ解析・並列機械学習祭り－

データマイニング+WEB勉強会＠東京思い 17

データマイニング+WEB勉強会＠東京思い蓄積データを活用し 18

データマイニング+WEB勉強会＠東京思い蓄積データを活用し継続的に活動進化できる世界を作りたい 19

データマイニング+WEB勉強会＠東京蓄積データを有効活用したい人が 20

データマイニング+WEB勉強会＠東京蓄積データを有効活用したい人がそれを実現できるようにしたい 21

データマイニング+WEB勉強会＠東京データマイニング+WEB勉強会＠東京 (#TokyoWebmining) 始めました 22

目的：データマイニング+WEB勉強会＠東京 23

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ 24

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング最適解探索アルゴリズム 25

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング対応分析時系列分析回帰分析クラスター分析判別分析主成分分析因子分析カーネル法樹木モデルニューラルネットワークサポートベクターマシン … 最適解探索アルゴリズム 26

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … … 最適解探索アルゴリズム 27

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 28

目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 29

データマイニング+WEB勉強会＠東京を 31

データマイニング+WEB勉強会＠東京を発表者・参加者にとってより有意義な場にしたい 32

データマイニング+WEB勉強会＠東京を発表者・参加者にとってより有意義な場にしたい３つの進行方針 33

３つの進行方針充分な時間を充て理解・議論を優先する 34

３つの進行方針充分な時間を充て理解・議論を優先する１．充分な時間：各テーマごとにしっかり時間を充てる（浅く多くではなく、少ないテーマでも深く） 35

３つの進行方針充分な時間を充て理解・議論を優先する１．充分な時間：各テーマごとにしっかり時間を充てる（浅く多くではなく、少ないテーマでも深く）２．理解：進行を急がない。分からないところはすぐ質問。講師・各メンバーからの返答で、みなで理解を深めることを優先する。 36

３つの進行方針充分な時間を充て理解・議論を優先する１．充分な時間：各テーマごとにしっかり時間を充てる（浅く多くではなく、少ないテーマでも深く）２．理解：進行を急がない。分からないところはすぐ質問。講師・各メンバーからの返答で、みなで理解を深めることを優先する。３．議論：議論時間をしっかりとる。各分野の意見の共有、皆での発想・創造を優先する。全員でのフラットな議論。講師にとっても有意義な場となるようにする。 37

３つの進行方針充分な時間を充て理解・議論を優先する１．充分な時間：各テーマごとにしっかり時間を充てる（浅く多くではなく、少ないテーマでも深く）２．理解：進行を急がない。分からないところはすぐ質問。講師・各メンバーからの返答で、みなで理解を深めることを優先する。３．議論：議論時間をしっかりとる。各分野の意見の共有、皆での発想・創造を優先する。全員でのフラットな議論。講師にとっても有意義な場となるようにする。 38

hamadakoichi 濱田晃一http://iddy.jp/profile/hamadakoichi 40

活動領域ソーシャルメディアのデータマイニング活用 2300万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス提供 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 41

データマイニング+WEB勉強会＠東京データマイニング+WEB勉強会＠東京の主催者です TokyoWebmining Google Group： http://groups.google.com/group/webmining-tokyo 42

講師資料データマイニング・機械学習、 Mahout、R、等各種講師資料を公開しています http://www.slideshare.net/hamadakoichi 43

hamadakoichi 濱田晃一 44

hamadakoichi 濱田晃一理論物理博士(2004.3取得) 量子統計場の理論Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 45

hamadakoichi 濱田晃一文部大臣に褒められた元文部大臣・法務大臣六法全書著者・元法学政治学研究科長森山眞弓さん菅野和夫さん 46

hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた・HIP HOP/House ダンス歴１３年・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel： http://www.youtube.com/hamadakoichi 47

hamadakoichi 濱田晃一毎週末３時間ダンスコーチをしています ■過去、東京と京都でもダンス部を創設。コーチをしていました駒場物理ダンス部京都大学基礎物理学研究所ダンス部部長兼コーチ部長兼コーチ現在：毎週末３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 48

数理解析手法の実ビジネスへの適用 2004年博士号取得後数理解析手法を実ビジネス適用の方法論構築主な領域◆活動の数理モデル化・解析手法◆活動の分析手法・再構築手法◆活動の実行制御・実績解析システム… 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 49

数理解析手法の実ビジネスへの適用：活動例活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : OptionalNode ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process EdgeProcess [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す開始できること表す・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表すAssign Region Assigns from Edge同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 50

数理解析手法の実ビジネスへの適用：活動例一品一様の業務プロセスの動的なプロセス制御数理体系を構築全体生産リードタイム中央値を 1/2.7に短縮設計開始～頭だし出荷リードタイム設計開始～頭だし出荷 CT対週集計開始日時の箱ひげ図体系適用 500 適用後設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 0 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: / 20 / 27 / 04 / 11 / 18 / 25 / 01 / 08 / 15 / 22 / 29 / 06 / 13 / 20 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週集計開始日時 51

数理解析手法の実ビジネスへの適用：活動例ビジネスとともに学術分野でも貢献変動性から生じる動的な課題・リソースの競合・滞留・納期遅延 …一品一様な業務プロセスを含む統計解析・制御数理モデル・統計的な有効変数算出・統計数理モデル化－優先順位制御－実行タイミング制御－統計フィードバック－適正リソース量算出・予測数理体系論文（体系の一部）M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementationto an Unmanned Machine Shop”,CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 52

思いより広く蓄積されたデータを有効活用し世界の未来をよりよいものにしていきたいデータマイニング+WEB勉強会＠東京 Google Group： http://groups.google.com/group/webmining-tokyo 53

現在の活動領域ソーシャルメディアのデータマイニング活用 2300万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス配信日々20億以上の活動の活用 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 54

よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 55

よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 56

大規模データのデータマイニング 57

大規模データのデータマイニング Hadoop Conference Japan 2011 58

大規模データのデータマイニング Hadoop Conference Japan 2011 大規模データのデータマイニングに関し講演してきました 59

Hadoop Conference Japan 2011 たくさんの人々のデータマイニング・機械学習活用へ 3日で1万1000View以上 60

Hadoop Conference Japan 2011 たくさんの人々のデータマイニング・機械学習活用へ 3日で1万1000View以上はてなブックマーク300以上 61

Hadoop Conference Japan 2011 Hadoop Conferenceでは講演のみでした 62

Hadoop Conference Japan 2011 今回はいくつかの要素に関し 63

Hadoop Conference Japan 2011 今回はいくつかの要素に関し双方向の議論進行を進めましょう 64

大規模データマイニング基盤 65

大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています 66

大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Java Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 67

大規模データマイニング基盤 Data Mining Infrastructure 68

大規模データマイニング基盤 KPI定常算出・共有ビジネス・サービス変化を検知 Data Mining Infrastructure KPI Inspection KPI Views 69

大規模データマイニング基盤経営判断・サービス洗練を行うためのデータマイニング実行 Data Mining Infrastructure KPI Inspection KPI Views Business Planning 70

大規模データマイニング基盤データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … … 71

大規模データマイニング基盤 Hadoop 全行動ログ/サービスデータ投入 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 72

大規模データマイニング基盤 Pig 少ない記述量での一次集計/簡易KPI算出 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 73

大規模データマイニング基盤 Zebra １次集計データのスキーマ管理 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning … MapReduce Business Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 74

大規模データマイニング基盤 MapReduce/Perl/Java 時系列処理・ゲーム分散シミュレーション等 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 75

大規模データマイニング基盤 R 統計解析・データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views R … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 76

大規模データマイニング基盤 Mahout 大規模データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 77

大規模データマイニング基盤データマイニング・機械学習による迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Hive Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 78

楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 79

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン■やめてしまう状況パターン 80

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう■やめてしまう状況パターン 81

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。■やめてしまう状況パターン 82

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。■やめてしまう状況パターン 83

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 84

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） 85

データマイニング・機械学習活用例（抜粋）■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） 86

データマイニング・機械学習活用例（抜粋）■興味のあるゲーム／ユーザーと出会えるプラットフォームへ■健全なプラットフォームへ■ユーザーの声によるサービス洗練 87

データマイニング・機械学習活用例（抜粋）■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦■健全なプラットフォームへ■ユーザーの声によるサービス洗練 88

データマイニング・機械学習活用例（抜粋）■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別■ユーザーの声によるサービス洗練 89

データマイニング・機械学習活用例（抜粋）■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニング 90

データマイニング・機械学習活用例（抜粋）■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニング 91

迅速なサービス洗練解析結果を反映した数時間～数日スパンで迅速なサービス洗練 92

迅速なサービス洗練解析結果を反映した数時間～数日スパンで迅速なサービス洗練より楽しんでもらえるユーザー体験へ 93

大規模データマイニング基盤統一行動記述 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Hive Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 94

統一行動記述ユーザー行動時系列の統一記述 95

統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題形式置き場 96

統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在する置き場 97

統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い 98

統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない 99

統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない 100

統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない 101

統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、解析時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない 102

統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、解析時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりも・大規模データ処理技術ログ収集・基礎集計作業がメイン・データマイニング/機械学習・データマイニング・機械学習活用まで出来ないそれぞれの技術が活用できる 103

世界展開世界中の人々の楽しさのマイニング 104

世界展開世界中の人々の楽しさのマイニング国民性・民族性にあったサービス提供 105

世界中の人々へ蓄積されたデータを有効活用し世界中の人々への適切なサービス提供を実現したい Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Java Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 106

世界中の人々へ蓄積されたデータを有効活用し世界中の人々への適切なサービス提供を実現したい Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 107

世界中の人々へ世界中の人々への適切なサービス提供を実現したい 108

世界中の人々へ世界中の人々への適切なサービス提供を実現したい一緒に実現する仲間を募集しています大規模ソーシャルメディアのデータマイニング（2100万会員１日20億アクション以上）（※2100万会員モバゲータウンはデータマイニングの宝の山／Tech総研より抜粋）・統計解析／データマイニング／機械学習／自然言語処理・大規模分散処理 109

参加者の声のフィードバック・継続改善参加者の声から開催内容を改善しています参加者の感想・期待次回開催の改善アクション 111

次回は今回よりより有意義な場にしたいみんなの声・改善提案が必要 113

会の最後に 114

会の最後に「感想」「今後の期待・改善提案」を伺いますね 115

会の最後に「感想」「今後の期待・改善提案」を伺いますね ※次回発表者も募集します 116

データマイニング+WEB勉強会発表者を募集しています連絡 Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 117

世界中の人々へ蓄積されたデータを有効活用し世界中の人々への適切なサービス提供を実現したい Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 118 118

今後ともデータマイニング+WEB勉強会＠東京をよろしくお願い致します 119

ご清聴ありがとうございました 120

大規模データマイニング基盤データマイニング・機械学習による迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Hive Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log 122

楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 123

http://d.hatena.ne.jp	1215
http://webcache.googleusercontent.com	3
http://twitter.com	1
http://translate.googleusercontent.com	1

10回開催記念「データマイニング＋WEB ～データマイニング・機械学習活用による継続進化～」ー第10回データマイニング+WEB勉強会＠東京ー #TokyoWebmining

by Koichi Hamada on Feb 27, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 1,220

Statistics