MongoDB World 2014
に行ってきた
渡部 徹太郎2014/07/17
丸の内MongoDB勉強会
Reporting of MongoDB World
自己紹介
{"ID" :"fetaro"
"名前" :"渡部 徹太郎"
"経歴" :"学生時代は情報検索の研究(@日本データベース学会)"
"仕事" :{"昔":"証券会社のオントレシステムのWeb基盤",
"今":"オープンソース全般"}
"特技":["サーバ基盤","Linux","KVM","ruby","MongoDB"]
"エディタ":"emacs派"
"趣味":"自宅サーバ"
"MongoDB関連":{
-"4年前に、友人の結婚式用のアプリを作った時に利用"
-"技評記事「MongoDBでゆるふわDB体験」"
-"日経SYSTEMS 8月号 「ドキュメント指向データベース」"
-"取材「DBのプロに会いたい MongoDBの火付け役を目指して」"},
"属性" : ["ギーク","スーツ"]
}
2
MongoDB World 2014とは
• 2014年6月(23日),24日,25日に開催されたMongoDB,Incが開催した初めての大規
模セミナー。 参加2000人、参加費10万円!
• 場所はNewYorkマンハッタン シェラトンホテル。 1泊3万円(朝食なし)
• 公式HP:https://world.mongodb.com/
シェラトンホテル
近くにはタイムズスクエア
大ホール
受付
タイムテーブル
• 大会場でのキーノートの後は、6パラでセミナー
渡部はずっとビジネストラックを聴講
会場の様子
協賛企業
MongoDB
PaaS事業者
OSSの
BI筆頭
OSSの
BI
Hadoop
Redis
求人ボード
初日(24日)に聞いた主なセッション
[KeyNote] Max Schireson (MongoDB CEO)
• 過去40年はデータは整然としておりRDBは歴史上もっとも成功したソフト
• しかし時代は変わった。
o 顧客:PC → モバイル
o マーケット:ADS → ソーシャルネットワーク
o 価値:トランザクション → ユーザENGAGEMENT
o アプリ開発:年単位 → 月単位
o インフラ:オンプレ → クラウド
• データも変わった
o 90%のデータはこの2年で作られている
o 80%のデータは非構造データ
o 非構造データは構造データの2倍のスピードで増えている
• データ処理の課題
o 86%がデータの多様性に起因するもの
o 15%がデータ量に起因するもの
• このビックデータのゴールドラッシュで、誰が勝ち残るのか?
• それはMongoDBユーザ (ドヤッ)
ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-keynote-max-schireson
[KeyNote] Mike Olson (Cloudera CSO)
• MongoDBのキーノートの後Cloudera(Haoopの会社)のCSOが出てきて、握手し
てスピーカー交替
• 内容は詳しく説明しないが、要は
• MongoDB,IncとCloudera(Hadoop)はとても仲が良い とい
うこと
• 渡部的にも、MongoDBとHadoopは相性がよいと思う
o MongoDBの集計(aggregation)は分散しないし、CPUの使い方もうまくない。
o そこでデータのオンライン処理はMongoDBに任せて、集計はHadoopにするのがよいという事
シャード1 シャード2 シャード3
Mongos
オンラインアプリ
HDFSノード1 HDFSノード2 HDFSノード3
MapReduceフレームワーク
バッチアプリ
MongoDB,Inc
Cloudera
ビジネストラック「Citi Bank」
• Citi社内PaasでMongoDBを標準に採用
• データのシフトが確実に起きているに対応する事が必要。
o 従来の技術(RDB)は業務全体の99%を占めていながらも、新しい技術を取り込んでいく事に対する挑戦に取り組
んでいる。広い範囲の技術に対応する事が必要。
o 大方のデータは構造型データであるが、最近急増しているのは非構造型のデータであり、クレジットカード等を含め
たデバイスが精製するデジタルデータの大方は非構造型のデータである。
• MongoDBを導入した理由
o 開発期間が短い→TCOが低い、DevOpsの連携、シャーディング、レプリカセット、安価なプラットホーム
でよい
• MongoDBの効果
o 平均的なInserts/secが大幅に向上
o RDBでは達成出来なかったスピードでアプリ開発を達成
 アプリケーションのPOC開発~Pre Productionが4ヶ月で達成
• MongoDBの課題
o アプリケーションレイヤーはまだもう少し充実させたい
o スキーマのフレキシビリティはいい面と悪い面がある。
o BIツールが少ない
o 標準が少ない。言語、機能セット、まだNoSQL業界はバラバラ
ビジネストラック「Citi Bank」
• MongoDBが有効に働くシステムパターンが幾つか確立している
o Cache layer above other DB/Apps
o ODS (Data Warehouse front end)
o Single Operation View
o Split DB Workload
ビジネストラック「Bosch」
• ユースケース1:工具の管理
o 在庫管理・品質管理・ワーク管理・ERP/MES/PCS統合
o 所感
 製造現場での在庫管理。
 昔はSQLでやっていたが、それをMongoDBでやるとJSONで格納
されるためレビューしやすい。DBAがいなくてもデータをみれる
ビジネストラック「Bosch」
• ユースケース2
o 自動車のセンサーを通して運転状況・機器の情報を収集
o 故障を予測して、修理のコストを最適化する
食事
朝食 昼食
おやつ
ハーゲンダッツ食べ放題
夕食
空母でパーティー
2日目(25日)に聞いた主なセッション
[KeyNote] Eliott Horowitz (CTO MongoDB)
• MongoDB 2.8
o ドキュメントレベルロック
 DBロックからドキュメントレベルへ
o ストレージエンジンの選択
 今のmmapだけでなく、ヒープベース、ロック
エクスペリエンス、TOKUのストレージエンジ
ン、FUSION/IOが使える
• MMS
o 無停止アップデート
o 無停止デプロイ(レプリカセットやシャーディング
のデプロイ)
o バージョン管理
ドキュメントレベルの発表の瞬間。
めっちゃ盛り上がってたw
ドキュメントレベルロックにより
op/sが10倍にw
可視化ツールはmongoscope
ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-keynote-eliot-horowitz
• Goldman SacheにおけるDB
o 社内のプライベートクラウドで、ファイルシステムとRDBの中間的な位置づけとして
MongoDBが利用されている。(使い分けが明確)
o MongoDBの運用はアプリケーションサイドで対応する事が可能であるため、少人数で運用
可能
• ユースケース1:社内ソーシャルサイト
o 全てのデータはMongoDBで管理
o リージョン間でのデータはReplicationで同期を取っている
o 課題はトランザクション機能が無い事
o ツイッターからのデータも引き出している
• ユースケース2:クラウド上で社内ドキュメントを管理するシステム
o ファイルの属性情報を記録するのにMognoDBを採用
o これによってドキュメントの迅速な検索が可能
o 課題はインデックス性能とトランザクション機能の不足
• 所感
o 社内でちょっとしたシステムを作る場合、日本だとパッケージ導入が盛んだが、米国では社
内SEに技術力があり、MongoDBなどを利用してサクッと開発している。
→日本と米国の大きなギャップ
ビジネストラック「Goldman Sachs」
ビジネストラック「GAP」
• 社内でMongoDBによる開発を積極採用
• なぜMongoDBなのか?
o アジャイル開発に最も向いてる技術として評価した
o 短時間でコレクションを構築し、データストアをすぐに立ち上げる事により、
アプリケーションロジックの設計に集中出来た
 POシステムでは2ヶ月半で開発/運用開始出来た。仕様変更にも迅速に対
応できた。
o 営業と開発が一緒になって設計活動に参画出来る
 それはJSONが営業の人でも理解出来るデータ構造であるため
o MongoDBは魅力的であるため、開発者を活気づける
→実はこれが最も重要
• 課題
o MongoDBが魅力的で簡単にすぐ作れるため、研修などが置き去りになり、後で
ハマるパターンがある
→研修が重要
[Closing] Eliot horowitz (MongoDB CTO)
• MongoDB 3.0以降のRoadmap
o Partitioned Joins
 ドキュメントのジョイン(1シャードに格納されている場合に限る)
o Multi-document Transactions
 複数ドキュメントをトランザクション処理
o Schema Validation
 データのバリデーション(データハブの座を狙っている)
o Multi-Master Databases
 レプリカセットにおいて複数のレプリカに書き込める
o Filtered Replica Sets
 データをフィルタして、セカンダリにレプリケーションできる
o Storage Engines
 ストレージエンジンを増やす
o Adoptive Provisioning
 MMSが負荷に応じて勝手にクラスタのノードなどを増やす(と思う)
o Queryable Backup
 今は全件ダンプしかないけど、クエリでバックアップできる
o Database-as-a-Service Software
ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-roadmap-eliot-horowitz
米国に対する所感
• New Yorkマンハッタンの「世界の中心は俺だ!」感はすごい。物価も高い。
• 米国のイベントは高い!けどいろいろ楽しませてくれる
• 米国企業の情報システム部門はMongoDBをはじめとしたOSSを使いこなし
ている。そして社内PaaSでサクっと開発をしてしまう
 日本ではありえない光景。日本企業の情報システム部門はただの事業部の御用
聞き。
MongoDBに対する所感
• MongoDBの勢いはすごい。NOSQLのリーダであるという事を肌で感じた
 日本でここまで浸透するにはあと3~5年ぐらい?
• MongoDBの使われるパターンが分かってきた。要は「開発しやすい」「ス
キーマレスデータ処理」「スケールできる」の3つでTOC削減。
• MongoDBはこれから活発にエンハンスされ、さらに完成度が高まる。
これほどのソフトウェアを無料で使わせてもらっているのだから、皆さん
もMongoDBコミュニティに貢献しましょう!
 インターネットでのノウハウ共有
 日本MongoDBメーリングリストの投稿・回答
 MongoDB JIRAへのバグ投稿
 ソースコードへのコントリビュート
 事例の提供(今回のMongoDB Worldで日本人の発表は0)

MongoDB World 2014に行ってきた!

  • 1.
    MongoDB World 2014 に行ってきた 渡部徹太郎2014/07/17 丸の内MongoDB勉強会 Reporting of MongoDB World
  • 2.
    自己紹介 {"ID" :"fetaro" "名前" :"渡部徹太郎" "経歴" :"学生時代は情報検索の研究(@日本データベース学会)" "仕事" :{"昔":"証券会社のオントレシステムのWeb基盤", "今":"オープンソース全般"} "特技":["サーバ基盤","Linux","KVM","ruby","MongoDB"] "エディタ":"emacs派" "趣味":"自宅サーバ" "MongoDB関連":{ -"4年前に、友人の結婚式用のアプリを作った時に利用" -"技評記事「MongoDBでゆるふわDB体験」" -"日経SYSTEMS 8月号 「ドキュメント指向データベース」" -"取材「DBのプロに会いたい MongoDBの火付け役を目指して」"}, "属性" : ["ギーク","スーツ"] } 2
  • 3.
    MongoDB World 2014とは •2014年6月(23日),24日,25日に開催されたMongoDB,Incが開催した初めての大規 模セミナー。 参加2000人、参加費10万円! • 場所はNewYorkマンハッタン シェラトンホテル。 1泊3万円(朝食なし) • 公式HP:https://world.mongodb.com/ シェラトンホテル 近くにはタイムズスクエア 大ホール 受付
  • 4.
  • 5.
  • 6.
  • 7.
    [KeyNote] Max Schireson(MongoDB CEO) • 過去40年はデータは整然としておりRDBは歴史上もっとも成功したソフト • しかし時代は変わった。 o 顧客:PC → モバイル o マーケット:ADS → ソーシャルネットワーク o 価値:トランザクション → ユーザENGAGEMENT o アプリ開発:年単位 → 月単位 o インフラ:オンプレ → クラウド • データも変わった o 90%のデータはこの2年で作られている o 80%のデータは非構造データ o 非構造データは構造データの2倍のスピードで増えている • データ処理の課題 o 86%がデータの多様性に起因するもの o 15%がデータ量に起因するもの • このビックデータのゴールドラッシュで、誰が勝ち残るのか? • それはMongoDBユーザ (ドヤッ) ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-keynote-max-schireson
  • 8.
    [KeyNote] Mike Olson(Cloudera CSO) • MongoDBのキーノートの後Cloudera(Haoopの会社)のCSOが出てきて、握手し てスピーカー交替 • 内容は詳しく説明しないが、要は • MongoDB,IncとCloudera(Hadoop)はとても仲が良い とい うこと • 渡部的にも、MongoDBとHadoopは相性がよいと思う o MongoDBの集計(aggregation)は分散しないし、CPUの使い方もうまくない。 o そこでデータのオンライン処理はMongoDBに任せて、集計はHadoopにするのがよいという事 シャード1 シャード2 シャード3 Mongos オンラインアプリ HDFSノード1 HDFSノード2 HDFSノード3 MapReduceフレームワーク バッチアプリ MongoDB,Inc Cloudera
  • 9.
    ビジネストラック「Citi Bank」 • Citi社内PaasでMongoDBを標準に採用 •データのシフトが確実に起きているに対応する事が必要。 o 従来の技術(RDB)は業務全体の99%を占めていながらも、新しい技術を取り込んでいく事に対する挑戦に取り組 んでいる。広い範囲の技術に対応する事が必要。 o 大方のデータは構造型データであるが、最近急増しているのは非構造型のデータであり、クレジットカード等を含め たデバイスが精製するデジタルデータの大方は非構造型のデータである。 • MongoDBを導入した理由 o 開発期間が短い→TCOが低い、DevOpsの連携、シャーディング、レプリカセット、安価なプラットホーム でよい • MongoDBの効果 o 平均的なInserts/secが大幅に向上 o RDBでは達成出来なかったスピードでアプリ開発を達成  アプリケーションのPOC開発~Pre Productionが4ヶ月で達成 • MongoDBの課題 o アプリケーションレイヤーはまだもう少し充実させたい o スキーマのフレキシビリティはいい面と悪い面がある。 o BIツールが少ない o 標準が少ない。言語、機能セット、まだNoSQL業界はバラバラ
  • 10.
    ビジネストラック「Citi Bank」 • MongoDBが有効に働くシステムパターンが幾つか確立している oCache layer above other DB/Apps o ODS (Data Warehouse front end) o Single Operation View o Split DB Workload
  • 11.
    ビジネストラック「Bosch」 • ユースケース1:工具の管理 o 在庫管理・品質管理・ワーク管理・ERP/MES/PCS統合 o所感  製造現場での在庫管理。  昔はSQLでやっていたが、それをMongoDBでやるとJSONで格納 されるためレビューしやすい。DBAがいなくてもデータをみれる
  • 12.
  • 13.
  • 14.
  • 15.
    [KeyNote] Eliott Horowitz(CTO MongoDB) • MongoDB 2.8 o ドキュメントレベルロック  DBロックからドキュメントレベルへ o ストレージエンジンの選択  今のmmapだけでなく、ヒープベース、ロック エクスペリエンス、TOKUのストレージエンジ ン、FUSION/IOが使える • MMS o 無停止アップデート o 無停止デプロイ(レプリカセットやシャーディング のデプロイ) o バージョン管理 ドキュメントレベルの発表の瞬間。 めっちゃ盛り上がってたw ドキュメントレベルロックにより op/sが10倍にw 可視化ツールはmongoscope ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-keynote-eliot-horowitz
  • 16.
    • Goldman SacheにおけるDB o社内のプライベートクラウドで、ファイルシステムとRDBの中間的な位置づけとして MongoDBが利用されている。(使い分けが明確) o MongoDBの運用はアプリケーションサイドで対応する事が可能であるため、少人数で運用 可能 • ユースケース1:社内ソーシャルサイト o 全てのデータはMongoDBで管理 o リージョン間でのデータはReplicationで同期を取っている o 課題はトランザクション機能が無い事 o ツイッターからのデータも引き出している • ユースケース2:クラウド上で社内ドキュメントを管理するシステム o ファイルの属性情報を記録するのにMognoDBを採用 o これによってドキュメントの迅速な検索が可能 o 課題はインデックス性能とトランザクション機能の不足 • 所感 o 社内でちょっとしたシステムを作る場合、日本だとパッケージ導入が盛んだが、米国では社 内SEに技術力があり、MongoDBなどを利用してサクッと開発している。 →日本と米国の大きなギャップ ビジネストラック「Goldman Sachs」
  • 17.
    ビジネストラック「GAP」 • 社内でMongoDBによる開発を積極採用 • なぜMongoDBなのか? oアジャイル開発に最も向いてる技術として評価した o 短時間でコレクションを構築し、データストアをすぐに立ち上げる事により、 アプリケーションロジックの設計に集中出来た  POシステムでは2ヶ月半で開発/運用開始出来た。仕様変更にも迅速に対 応できた。 o 営業と開発が一緒になって設計活動に参画出来る  それはJSONが営業の人でも理解出来るデータ構造であるため o MongoDBは魅力的であるため、開発者を活気づける →実はこれが最も重要 • 課題 o MongoDBが魅力的で簡単にすぐ作れるため、研修などが置き去りになり、後で ハマるパターンがある →研修が重要
  • 18.
    [Closing] Eliot horowitz(MongoDB CTO) • MongoDB 3.0以降のRoadmap o Partitioned Joins  ドキュメントのジョイン(1シャードに格納されている場合に限る) o Multi-document Transactions  複数ドキュメントをトランザクション処理 o Schema Validation  データのバリデーション(データハブの座を狙っている) o Multi-Master Databases  レプリカセットにおいて複数のレプリカに書き込める o Filtered Replica Sets  データをフィルタして、セカンダリにレプリケーションできる o Storage Engines  ストレージエンジンを増やす o Adoptive Provisioning  MMSが負荷に応じて勝手にクラスタのノードなどを増やす(と思う) o Queryable Backup  今は全件ダンプしかないけど、クエリでバックアップできる o Database-as-a-Service Software ビデオ:http://www.mongodb.com/presentations/mongodb-world-2014-roadmap-eliot-horowitz
  • 19.
    米国に対する所感 • New Yorkマンハッタンの「世界の中心は俺だ!」感はすごい。物価も高い。 •米国のイベントは高い!けどいろいろ楽しませてくれる • 米国企業の情報システム部門はMongoDBをはじめとしたOSSを使いこなし ている。そして社内PaaSでサクっと開発をしてしまう  日本ではありえない光景。日本企業の情報システム部門はただの事業部の御用 聞き。
  • 20.
    MongoDBに対する所感 • MongoDBの勢いはすごい。NOSQLのリーダであるという事を肌で感じた  日本でここまで浸透するにはあと3~5年ぐらい? •MongoDBの使われるパターンが分かってきた。要は「開発しやすい」「ス キーマレスデータ処理」「スケールできる」の3つでTOC削減。 • MongoDBはこれから活発にエンハンスされ、さらに完成度が高まる。 これほどのソフトウェアを無料で使わせてもらっているのだから、皆さん もMongoDBコミュニティに貢献しましょう!  インターネットでのノウハウ共有  日本MongoDBメーリングリストの投稿・回答  MongoDB JIRAへのバグ投稿  ソースコードへのコントリビュート  事例の提供(今回のMongoDB Worldで日本人の発表は0)