トレジャーデータ新サービス発表 2013/12/9
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

トレジャーデータ新サービス発表 2013/12/9

on

  • 4,104 views

トレジャーデータサービスをリリースして一年あまり、今年の最後に目玉となる新サービスのお披露目を東京にて行いました。創業者・CTO 太田 ...

トレジャーデータサービスをリリースして一年あまり、今年の最後に目玉となる新サービスのお披露目を東京にて行いました。創業者・CTO 太田 一樹によるプレゼンテーションを公開させていただきます。
トレジャーデータの概要から、新サービスである、Treasure Query Accelerator(当社比従来の10-50倍高速化しました)、 Treasure Viewer(ドラッグアンドドロップで簡単にクロス集計などのグラフが作成できる)、新サービス価格体系についてのご案内も盛り込んでいます。
当日ご来場いただけた方はもちろん、ご都合で欠席された方もぜひご覧ください。
また、今後同内容のWebinarも開催していく予定です。

Statistics

Views

Total Views
4,104
Views on SlideShare
2,444
Embed Views
1,660

Actions

Likes
9
Downloads
39
Comments
0

6 Embeds 1,660

https://bozuman.cybozu.com 1257
https://bozuman.s.cybozu.com 393
https://twitter.com 5
http://www.linkedin.com 3
https://www.linkedin.com 1
http://atsentan.sd.scc-kk.co.jp 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

トレジャーデータ新サービス発表 2013/12/9 Presentation Transcript

  • 1. Board Meeting Presentation サービス・会社概要紹介 August 15th, 2013 - 3:30PM PDT Treasure Data Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     Founder & CTO 太田 一樹 <k@treasure-data.com> www.treasuredata.com   Copyright  2013    
  • 2. 会社概要 チーム概要 2011年12月創業、米国カリフォルニア州。創業 者は日本人3人組。2013年12月現在、社員約 30名。 Hiro Yoshikawa – CEO Open source business veteran Kaz Ohta – CTO Founder of world’s largest Hadoop Group Jeff Yuan – Director, Engineering LinkedIn, MIT / Michale Stonebraker Lab ビッグデータの収集・保存・解析を一手に行える クラウドサービスを提供。他のサービスと異なり、 数日で始められるのが特徴。 サービスコンセプト •  すぐに使い始められる •  クラウドサービスとしての提供を行う •  シンプルな機能セット、手厚いサポート •  “Trend Setting Products” in Data for 2014
 (Database Trends and Applications) •  “5 Hot Big Data Startups”
 (Enterprise Apps Today) Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP 投資家概要 Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data Bill Tai Renown investor, GP Charles River Ventures Jerry Yang Founder, Yahoo! Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language James Lindenbaum Founder, Heroku
  • 3. 3   ”データ解析の世界をシンプルにする”
  • 4. 事業概要 (2013年12月現在) >100 >50% 社以上のお客様 四半期のアカウント数の伸び >4,000 >150,000 単一のお客様が データ収集を行っている アプリケーションサーバー数 1秒間に保存されている レコード数 >7,000,000 >2,500,000,000,000 実行した解析ジョブの数 お客様から預かっている レコード数
  • 5. お客様の例 “我々のビジネスのように、変化の早い業界において時間 はもっとも重要な資産であり、トレジャーデータによって非 常に多く節約することが出来た。” “データサイエンスはGREEのビジネスにとって最も重要で あり、現在、トレジャーデータを使うことによって、数々の ゲームの成功をドライブしている。”
  • 6. 6   各メディア / アナリストからの評価 “Treasure Data has taken a leadership position in providing the first end-to-end public cloud-based big data analysis service” “A number of startups have begun to converge on the space as well, including Treasure Data and BIME, which specifically positions as cloud-based Big Data provider.” “The question becomes, then, what role - if any - will the public cloud play in helping enterprises turn Big Data into actionable insights? Treasure Data believes it has an answer.” “It’s only been six months since cloud data warehousing company Treasure Data launched its services, but they’re already reporting some impressive growth figures.”
  • 7. 保存されているデータ量の伸び 3兆件 2兆件 1兆件 サービス開始 7  
  • 8. サービス概要 データ保管 データ収集 データ分析 Webログ Treasure Agent Appログ BIツールとの接続 ストリームログコレクタ REST API, SQL, Pig, JDBC / ODBC センサー Bulk Import ERP Tableau, Dr.Sum, Metric Insights, Excel, etc. Cloud Storage RDBMS CRM BIツール 並列バルク
 アップローダー Flexible, Scalable, Columnar Storage クエリ結果プッシュ REST API, SQL, Pig ダッシュボード Custom App, Local DB, FTP Server, etc. 収集・保存・解析まで単一のサービスでの提供を行うサービスはTreasure Dataのみ。
  • 9. なぜ Treasure Data? – 実装の早さ、本質的な作業に集中 •  既存のデータウェアハウスの実装プロセス Data Collection ETL Data Warehouse BI/Reporting 6ヶ月 ~ 1年, 5-10億円+maintenance, ベンダーロックイン •  Treasure Dataのクラウドサービス Data Collection ETL Data Warehouse 2 – 3週間 月額課金制での支払い 既存のBI/Reportingが利用可能 BI/Reporting
  • 10. 他社サービス・製品との位置付け マーケティングクラウド (DMP) クラウド アプリケーションログのレ ポーティング、分析 セキュリティ/法律上   クラウドにデータが   上げられない事が多い   センサーデータ/M2M Internet of Things 補完関係   自社データセンターで   保存・解析するには   コスト・人材面でマッチしない   自社 データ
 センター 構造化データソース (取引履歴、会計、個人情報) 非構造化、新しいデータソース (Web、センサー、デバイス)
  • 11. 利用例: 14日間で月間600億インプレッションを裁くシステムを開発 1.  ヨーロッパ最大のモバイル アドエクスチェンジ 2.  2万5千以上のモバイルアプ リから月間60億件以上のリ クエストを裁く 3.  サインアップから14日間、1 人のエンジニアによってシス テムを完成させた “Time is the most precious asset in our fast-moving business, and Treasure Data saved us a lot of it.” Julian Zehetmayr, CEO & Founder
  • 12. Benefit – Reduce Cost and Complexity – Replace Hadoop Before 1.  Online Video Service serves millions of users in 150 languages 2.  In-house Hadoop cluster too complex, costly and scaling uncertain After 3.  Eliminated in-house Hadoop cluster and redeployed engineers on core businesses. “Treasure Data has always given us thorough and timely support peppered with insightful tips to make the best use of their service." – Huy Nguyen, Software Engineer
  • 13. 13   2014年〜: 新たなデータソースの台頭の始まり The Internet of Things! “モノのインターネット”! ログデータ センサーデータ
  • 14. 新たなデータソース例: M2Mユースケース BI Connectivity BI Tools REST API, SQL, Pig, JDBC / ODBC! Cloud Data Service Flexible, Scalable! Columnar Storage! 車、時計、電柱   スマートシティ、センサー、etc.   www.treasuredata.com   Copyright  2013   Dr.Sum / MotionBoard Custom App Result Push REST API, SQL, Pig! •  •  •  •  •  付加サービス   医療   保険   機器メンテナンス   etc   14  
  • 15. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT サービス技術詳細 Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     www.treasuredata.com   Copyright  2013    
  • 16. Data Acquisition – Streaming Capture ApplicaIon  Server   # Application Code ... ... •  AutomaIc  Micro-­‐batching   •  Local  buffering  Fall-­‐back   •  Network  Tolerance   # Post event to Treasure Data TD.event.post('access', {:uid=>123}) ... ... Treasure  Data  Library   Java,  Ruby,  PHP,  Perl,  Python,  Scala,  Node.js       Treasure Data Cloud Treasure  Agent  (local)   www.treasuredata.com   Copyright  2013   16  
  • 17. Data Acquisition – Bulk Loader RDBMS   SaaS   App   CSV,  TSV,  JSON,   MessagePack,  Apache,   regex,  MySQL,  FTP   FTP   Treasure Data Cloud   Bulk  Loader     Prepare  >  Upload  >  Perform  >  Commit   www.treasuredata.com   Copyright  2013   17  
  • 18. Data Storage Treasure Data Cloud Default  (schema-­‐less)   +me   v   1384160400   {“ip”:”135.52.211.23”,  “code”:”0”}   1384162200   {“ip”:”45.25.38.156”,  “code”:”-­‐1”}   1384164000   {“ip”:”97.12.76.55”,  “code”:”99”}   •  •  Stored “schema-less” as JSON –  Schema can be applied/updated AFTER storage Compressed & columnar format –  For higher query performance Schema  applied   ~30%  Faster   +me   ip  :  string   code  :  int   1384160400   135.52.211.23   0   1384162200   45.25.38.156   -­‐1   1384164000   97.12.76.55   •  Optimized for time-based filtering •  Quickly scale-up processing power 99   www.treasuredata.com   Copyright  2013   –  WITHOUT reloading/ redistributing the data 18  
  • 19. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT 新サービス & 新価格プラン の発表 Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     www.treasuredata.com   Copyright  2013    
  • 20. 20   ビッグデータ活用:  7つのステージ   最適化   What s  a  trend?   Why?   アラート   Error?   ドリルダウン   Where  exactly?   アドホックレポート   Where?   定型レポート   レポーティング   予測分析   統計分析   データ解析   What s  the  best?   What  happened?   お客様の進化に合わせて、我々のサービスも進化を続ける。  
  • 21. 21   発表1: Treasure Query Accelerator •  Treasure Query Accelerator (TQA) •  アドホックデータ解析向けのクエリエンジン •  既存のバッチ型クエリエンジンと比較し、10 〜 50倍高速 •  目的に応じて、既存のバッチ型クエリエンジンと使い分け Queries   MPP  (Massively  Parallel  Processing)  Query  Executor           Plazma  Cloud  Storage   (2.5兆件のデータを保持)  
  • 22. 22   バッチ型クエリ 定時レポーティング   配信最適化   •  オンライン広告   アドホック型クエリ •  •  顧客向けの定時パフォーマンスレポー ティング   1時間に1回の更新、確実に終わらせる 事が重要   定時レポーティング   •  Web  /  Social   •  リテール   •  サポート業務効率化   社内  /  子会社  /  経営層向けの定期パ •  フォーマンスレポーティング   大量のKPIを定義し、毎日  /  毎時確実に •  終わらせる事が重要   定時レポーティング   •  •  PoS・Webサイト解析システム・タッチパ ネルシステムから上がってくるデータの 定期レポーティング   毎時確実に終わらせる事が重要   接続しているアドネットワークのパフォーマ ンスをリアルタイム集計   集計結果から広告配信のロジックをリア ルタイムに最適化 ユーザーからのサポートリクエストに応じ てその場でデータを集計   サポートのレスポンス・対応を効率化し、 ユーザーの満足度向上に繋げる   即時バスケット分析   •  •  過去数年分、数百億件のデータから、そ の場でバスケット分析を実行可能   商品開発のミーティングの中で、過去デー タを参照。データを元にした商品開発活動 を開始  
  • 23. 23   発表2: Treasure Viewer •  データ可視化ツールをデフォルトで提供 •  TQA (Treasure Query Accelerator) を利用し、大量のデータからドラッグ & ド ロップでデータの可視化が行える •  簡易な可視化ツールの扱い。高度な機能・要件が求められる場合、パート ナーのBIツールを使用してお客様の要件を満たす事も多い。 Treasure  Viewer   3rd  Party  BI  Tool  (Tableau)  
  • 24. 24   新価格プラン: Premiumプラン Free   Standard   Premium     Custom   価格   $0   $3000/月   $7500/月   -­‐     レコード数   年間20億件   年間150億件   年間500億件   Unlimited   バッチクエリ   0コア   8コア   16コア   Unlimited   アドホック   クエリ   N/A   N/A   ○   Unlimited   ユーザー数   1   5ユーザー   20ユーザー   Unlimited   サポート   オンライン   通常   専任   NegoIable   大企業様からの要望に答える形で、サポート体制の強化を行ったプランを新設  
  • 25. 25   “ソリューションテンプレート”の提供 ソリューション コンポーネント: データ解析テンプレート                          Treasure  Data  Service       データ収集テンプレート       -  Treasure Data Service -  構造化ログのテンプレート -  データ収集エージェント設定 ファイルテンプレート -  設定済みBIレポーティング・ ダッシュボード 初期セットアップ期間内で、事前定義した解析ダッシュボードを提供  
  • 26. Board Meeting Presentation Marketing Unified Analytics Solution August 15th, 2013 - 3:30PM PDT Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     www.treasuredata.com   Copyright  2013     26  
  • 27. Business & Technical Problems Marketing Tools data silos –  •  Manual data integration Difficult to merge other data –  Data from online / offline systems –  •  Website  C   Manual data pulling –  Website  B   Sensor, CRM, ERP, Relational Data Resource & time waste –  Spend time pulling CSVs –  Pull same data multiple times –  Less time to focus on trends –  MANUAL  PROCESS   •  Website  A   Hard to get cross-brand insight Sensor   www.treasuredata.com   Copyright  2013   RDB   CRM   ERP   27  
  • 28. Marketing Tool Unified Analytics Receive / Process Monitor files, process, and daily sync to API! Push to API via Bulk Import Send to FTP Files sent daily! from SiteCatalyst! FTP  Server   Store, Query, & Analyze Automate queries across multiple profiles for KPIs! BI Connectivity BI Tableau, Metric Insights, etc. qp://qp.treasure-­‐data.com/   www.treasuredata.com   Copyright  2013   28  
  • 29. Board Meeting Presentation Gaming Analytics Solution August 15th, 2013 - 3:30PM PDT Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     www.treasuredata.com   Copyright  2013     29  
  • 30. Goals & Solution Analy+cs  Requirement How  Treasure  Data  Delivers Unify  AnalyIcs  in  One  LocaIon Easily  and  automaIcally  load  data  to  cloud  DB  every  5   minutes Drive  Cross-­‐Game  Insights Add  automated  queries  and  analyses  as  needed Scale  and  adapt  to  new  tools  and  future   KPI  requirements Flexible  database  and  data  collecIon  layers Implement  quickly  with  no  upfront  costs   Provisioned  cloud  service  and  setup  within  weeks or  IT  lag  Ime Updates  and  changes  are  easy  and  take   hours,  not  weeks  or  months Easy  to  use,  self-­‐service  plasorm  and  robust  services  /   support  when  you  need  it www.treasuredata.com   Copyright  2013   30  
  • 31. Treasure Data Gaming Solution App   Developer   App   Developer   App   Developer   App   Developer   App   Developer   App   Developer   ApplicaIon   ApplicaIon   ApplicaIon   ApplicaIon   ApplicaIon   ApplicaIon   Log  Template   Data   Upload   Unified  Analy+cs   Dashboard  for  each  game   Dashboard  for  management   www.treasuredata.com   Copyright  2013   31  
  • 32. Setting Up for Governance Cross  Game  AnalyIcs  team   can  access  /  analyze  all  data   holisIcally   Game1  only  has  access   to  their  database   Game1   Game2   Game3   Game4   Game5   A   A   A   A   A   B   B   B   B   B   C   C   C   C   C   www.treasuredata.com   Copyright  2013   32  
  • 33. 33   今回の発表内容のまとめ •  新機能 •  Treasure Query Accelerator (TQA) •  バッチ型クエリと比較し、10〜50倍高速な実行エンジン •  弊社のお客様の強い要望により実現、更なるデータ活用を促 進し、新しいユースケースを切り開く •  Treasure Viewer •  TQAを利用したデータ可視化サービス •  シンプルさを追求、高度なBIが必要無いユーザーに可視化機 能を提供する •  新価格体系 •  月額 $7500 のプレミアムプランが追加、高度な機能と手厚いサ ポートにより、大企業での導入を容易に •  業界別ソリューションテンプレートの提供を開始
  • 34. 34   今後の展開: “Treasure Dataでしか出来ない事” New データ ソース •  レポーティング   •  アドホック分析   Old データ ソース •  レポーティング   •  アドホック分析   Old アプリケーション New アプリケーション 2014年のTreasure Dataにご期待下さい!
  • 35. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT 最後に: オープンソース活動 Presented  by     Hironobu  Yoshikawa  –  CEO     Kazuki  Ohta  –  CTO     Rich  Ghiossi  –  VP,  MarkeIng   Keith  Goldstein  –  VP,  Sales   Kengo  Hirouchi  –  Director,  Japan   Ankush  Rustagi  –  Director,  MarkeIng     www.treasuredata.com   Copyright  2013    
  • 36. 36   ”データ解析の世界をシンプルにする” ”データ収集をシンプルにする”
  • 37. 37   Project •  Treasure Data のデータコレクタ部分は、オープンソース化 •  2013年、国内外で広く浸透 •  世界中でデータを解析可能な形で収集するのに一役買っている "We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems." "We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe” Fluentd  オープンソースプロジェクトのユーザー例  
  • 38. Before  Fluentd:  M  x  N  通りのデータ収集・活用方法  
  • 39. ARer  Fluentd:  M  +  N  通りに経路を集約して簡素化   Access logs Apache Alerting Nagios App logs Frontend Backend Analysis MongoDB MySQL Hadoop System logs syslogd Databases filter / buffer / routing Archiving Amazon S3
  • 40. 40   エンジニアリングチーム •  Fluentd/Hadoopの他にも様々なOSSへの貢献活動を行っています。 名称   MessagePack   多言語シリアライズライブラリ   Javassist   Javaバイトコード生成ライブラリ   Huahin   Framework   Hadoop  MapReduce向け   汎用ライブラリ   D  Language   D言語   ZeroMQ   Java版 ZeroMQ  の実装  (jeromq)   Angular.JS   JavaScript  MVW  フレームワーク   弊社ではエンジニア自身がサポート業務も担当。   プロダクトへのPDCAサイクルの高速化を意識して体制作りを行っています。