トレジャーデータ新サービス発表 2013/12/9
•
10 likes•5,909 views
トレジャーデータサービスをリリースして一年あまり、今年の最後に目玉となる新サービスのお披露目を東京にて行いました。創業者・CTO 太田 一樹によるプレゼンテーションを公開させていただきます。 トレジャーデータの概要から、新サービスである、Treasure Query Accelerator（当社比従来の10-50倍高速化しました）、 Treasure Viewer（ドラッグアンドドロップで簡単にクロス集計などのグラフが作成できる）、新サービス価格体系についてのご案内も盛り込んでいます。 当日ご来場いただけた方はもちろん、ご都合で欠席された方もぜひご覧ください。 また、今後同内容のWebinarも開催していく予定です。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to トレジャーデータ新サービス発表 2013/12/9
Similar to トレジャーデータ新サービス発表 2013/12/9 (20)
More from Treasure Data, Inc.
More from Treasure Data, Inc. (20)
Recently uploaded
Recently uploaded (8)
トレジャーデータ新サービス発表 2013/12/9
- 1. Board Meeting Presentation サービス・会社概要紹介 August 15th, 2013 - 3:30PM PDT Treasure Data Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng Founder & CTO 太田 一樹 <k@treasure-data.com> www.treasuredata.com Copyright 2013
- 2. 会社概要 チーム概要 2011年12月創業、米国カリフォルニア州。創業 者は日本人3人組。2013年12月現在、社員約 30名。 Hiro Yoshikawa – CEO Open source business veteran Kaz Ohta – CTO Founder of world’s largest Hadoop Group Jeff Yuan – Director, Engineering LinkedIn, MIT / Michale Stonebraker Lab ビッグデータの収集・保存・解析を一手に行える クラウドサービスを提供。他のサービスと異なり、 数日で始められるのが特徴。 サービスコンセプト • すぐに使い始められる • クラウドサービスとしての提供を行う • シンプルな機能セット、手厚いサポート • “Trend Setting Products” in Data for 2014 (Database Trends and Applications) • “5 Hot Big Data Startups” (Enterprise Apps Today) Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP 投資家概要 Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data Bill Tai Renown investor, GP Charles River Ventures Jerry Yang Founder, Yahoo! Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language James Lindenbaum Founder, Heroku
- 6. 6 各メディア / アナリストからの評価 “Treasure Data has taken a leadership position in providing the first end-to-end public cloud-based big data analysis service” “A number of startups have begun to converge on the space as well, including Treasure Data and BIME, which specifically positions as cloud-based Big Data provider.” “The question becomes, then, what role - if any - will the public cloud play in helping enterprises turn Big Data into actionable insights? Treasure Data believes it has an answer.” “It’s only been six months since cloud data warehousing company Treasure Data launched its services, but they’re already reporting some impressive growth figures.”
- 8. サービス概要 データ保管 データ収集 データ分析 Webログ Treasure Agent Appログ BIツールとの接続 ストリームログコレクタ REST API, SQL, Pig, JDBC / ODBC センサー Bulk Import ERP Tableau, Dr.Sum, Metric Insights, Excel, etc. Cloud Storage RDBMS CRM BIツール 並列バルク アップローダー Flexible, Scalable, Columnar Storage クエリ結果プッシュ REST API, SQL, Pig ダッシュボード Custom App, Local DB, FTP Server, etc. 収集・保存・解析まで単一のサービスでの提供を行うサービスはTreasure Dataのみ。
- 9. なぜ Treasure Data? – 実装の早さ、本質的な作業に集中 • 既存のデータウェアハウスの実装プロセス Data Collection ETL Data Warehouse BI/Reporting 6ヶ月 ~ 1年, 5-10億円+maintenance, ベンダーロックイン • Treasure Dataのクラウドサービス Data Collection ETL Data Warehouse 2 – 3週間 月額課金制での支払い 既存のBI/Reportingが利用可能 BI/Reporting
- 10. 他社サービス・製品との位置付け マーケティングクラウド (DMP) クラウド アプリケーションログのレ ポーティング、分析 セキュリティ/法律上 クラウドにデータが 上げられない事が多い センサーデータ/M2M Internet of Things 補完関係 自社データセンターで 保存・解析するには コスト・人材面でマッチしない 自社 データ センター 構造化データソース (取引履歴、会計、個人情報) 非構造化、新しいデータソース (Web、センサー、デバイス)
- 11. 利用例: 14日間で月間600億インプレッションを裁くシステムを開発 1. ヨーロッパ最大のモバイル アドエクスチェンジ 2. 2万5千以上のモバイルアプ リから月間60億件以上のリ クエストを裁く 3. サインアップから14日間、1 人のエンジニアによってシス テムを完成させた “Time is the most precious asset in our fast-moving business, and Treasure Data saved us a lot of it.” Julian Zehetmayr, CEO & Founder
- 12. Benefit – Reduce Cost and Complexity – Replace Hadoop Before 1. Online Video Service serves millions of users in 150 languages 2. In-house Hadoop cluster too complex, costly and scaling uncertain After 3. Eliminated in-house Hadoop cluster and redeployed engineers on core businesses. “Treasure Data has always given us thorough and timely support peppered with insightful tips to make the best use of their service." – Huy Nguyen, Software Engineer
- 13. 13 2014年〜: 新たなデータソースの台頭の始まり The Internet of Things! “モノのインターネット”! ログデータ センサーデータ
- 14. 新たなデータソース例: M2Mユースケース BI Connectivity BI Tools REST API, SQL, Pig, JDBC / ODBC! Cloud Data Service Flexible, Scalable! Columnar Storage! 車、時計、電柱 スマートシティ、センサー、etc. www.treasuredata.com Copyright 2013 Dr.Sum / MotionBoard Custom App Result Push REST API, SQL, Pig! • • • • • 付加サービス 医療 保険 機器メンテナンス etc 14
- 15. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT サービス技術詳細 Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng www.treasuredata.com Copyright 2013
- 16. Data Acquisition – Streaming Capture ApplicaIon Server # Application Code ... ... • AutomaIc Micro-‐batching • Local buffering Fall-‐back • Network Tolerance # Post event to Treasure Data TD.event.post('access', {:uid=>123}) ... ... Treasure Data Library Java, Ruby, PHP, Perl, Python, Scala, Node.js Treasure Data Cloud Treasure Agent (local) www.treasuredata.com Copyright 2013 16
- 17. Data Acquisition – Bulk Loader RDBMS SaaS App CSV, TSV, JSON, MessagePack, Apache, regex, MySQL, FTP FTP Treasure Data Cloud Bulk Loader Prepare > Upload > Perform > Commit www.treasuredata.com Copyright 2013 17
- 18. Data Storage Treasure Data Cloud Default (schema-‐less) +me v 1384160400 {“ip”:”135.52.211.23”, “code”:”0”} 1384162200 {“ip”:”45.25.38.156”, “code”:”-‐1”} 1384164000 {“ip”:”97.12.76.55”, “code”:”99”} • • Stored “schema-less” as JSON – Schema can be applied/updated AFTER storage Compressed & columnar format – For higher query performance Schema applied ~30% Faster +me ip : string code : int 1384160400 135.52.211.23 0 1384162200 45.25.38.156 -‐1 1384164000 97.12.76.55 • Optimized for time-based filtering • Quickly scale-up processing power 99 www.treasuredata.com Copyright 2013 – WITHOUT reloading/ redistributing the data 18
- 19. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT 新サービス & 新価格プラン の発表 Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng www.treasuredata.com Copyright 2013
- 20. 20 ビッグデータ活用: 7つのステージ 最適化 What s a trend? Why? アラート Error? ドリルダウン Where exactly? アドホックレポート Where? 定型レポート レポーティング 予測分析 統計分析 データ解析 What s the best? What happened? お客様の進化に合わせて、我々のサービスも進化を続ける。
- 21. 21 発表1: Treasure Query Accelerator • Treasure Query Accelerator (TQA) • アドホックデータ解析向けのクエリエンジン • 既存のバッチ型クエリエンジンと比較し、10 〜 50倍高速 • 目的に応じて、既存のバッチ型クエリエンジンと使い分け Queries MPP (Massively Parallel Processing) Query Executor Plazma Cloud Storage (2.5兆件のデータを保持)
- 22. 22 バッチ型クエリ 定時レポーティング 配信最適化 • オンライン広告 アドホック型クエリ • • 顧客向けの定時パフォーマンスレポー ティング 1時間に1回の更新、確実に終わらせる 事が重要 定時レポーティング • Web / Social • リテール • サポート業務効率化 社内 / 子会社 / 経営層向けの定期パ • フォーマンスレポーティング 大量のKPIを定義し、毎日 / 毎時確実に • 終わらせる事が重要 定時レポーティング • • PoS・Webサイト解析システム・タッチパ ネルシステムから上がってくるデータの 定期レポーティング 毎時確実に終わらせる事が重要 接続しているアドネットワークのパフォーマ ンスをリアルタイム集計 集計結果から広告配信のロジックをリア ルタイムに最適化 ユーザーからのサポートリクエストに応じ てその場でデータを集計 サポートのレスポンス・対応を効率化し、 ユーザーの満足度向上に繋げる 即時バスケット分析 • • 過去数年分、数百億件のデータから、そ の場でバスケット分析を実行可能 商品開発のミーティングの中で、過去デー タを参照。データを元にした商品開発活動 を開始
- 23. 23 発表2: Treasure Viewer • データ可視化ツールをデフォルトで提供 • TQA (Treasure Query Accelerator) を利用し、大量のデータからドラッグ & ド ロップでデータの可視化が行える • 簡易な可視化ツールの扱い。高度な機能・要件が求められる場合、パート ナーのBIツールを使用してお客様の要件を満たす事も多い。 Treasure Viewer 3rd Party BI Tool (Tableau)
- 24. 24 新価格プラン: Premiumプラン Free Standard Premium Custom 価格 $0 $3000/月 $7500/月 -‐ レコード数 年間20億件 年間150億件 年間500億件 Unlimited バッチクエリ 0コア 8コア 16コア Unlimited アドホック クエリ N/A N/A ○ Unlimited ユーザー数 1 5ユーザー 20ユーザー Unlimited サポート オンライン 通常 専任 NegoIable 大企業様からの要望に答える形で、サポート体制の強化を行ったプランを新設
- 25. 25 “ソリューションテンプレート”の提供 ソリューション コンポーネント: データ解析テンプレート Treasure Data Service データ収集テンプレート - Treasure Data Service - 構造化ログのテンプレート - データ収集エージェント設定 ファイルテンプレート - 設定済みBIレポーティング・ ダッシュボード 初期セットアップ期間内で、事前定義した解析ダッシュボードを提供
- 26. Board Meeting Presentation Marketing Unified Analytics Solution August 15th, 2013 - 3:30PM PDT Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng www.treasuredata.com Copyright 2013 26
- 27. Business & Technical Problems Marketing Tools data silos – • Manual data integration Difficult to merge other data – Data from online / offline systems – • Website C Manual data pulling – Website B Sensor, CRM, ERP, Relational Data Resource & time waste – Spend time pulling CSVs – Pull same data multiple times – Less time to focus on trends – MANUAL PROCESS • Website A Hard to get cross-brand insight Sensor www.treasuredata.com Copyright 2013 RDB CRM ERP 27
- 28. Marketing Tool Unified Analytics Receive / Process Monitor files, process, and daily sync to API! Push to API via Bulk Import Send to FTP Files sent daily! from SiteCatalyst! FTP Server Store, Query, & Analyze Automate queries across multiple profiles for KPIs! BI Connectivity BI Tableau, Metric Insights, etc. qp://qp.treasure-‐data.com/ www.treasuredata.com Copyright 2013 28
- 29. Board Meeting Presentation Gaming Analytics Solution August 15th, 2013 - 3:30PM PDT Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng www.treasuredata.com Copyright 2013 29
- 30. Goals & Solution Analy+cs Requirement How Treasure Data Delivers Unify AnalyIcs in One LocaIon Easily and automaIcally load data to cloud DB every 5 minutes Drive Cross-‐Game Insights Add automated queries and analyses as needed Scale and adapt to new tools and future KPI requirements Flexible database and data collecIon layers Implement quickly with no upfront costs Provisioned cloud service and setup within weeks or IT lag Ime Updates and changes are easy and take hours, not weeks or months Easy to use, self-‐service plasorm and robust services / support when you need it www.treasuredata.com Copyright 2013 30
- 31. Treasure Data Gaming Solution App Developer App Developer App Developer App Developer App Developer App Developer ApplicaIon ApplicaIon ApplicaIon ApplicaIon ApplicaIon ApplicaIon Log Template Data Upload Unified Analy+cs Dashboard for each game Dashboard for management www.treasuredata.com Copyright 2013 31
- 32. Setting Up for Governance Cross Game AnalyIcs team can access / analyze all data holisIcally Game1 only has access to their database Game1 Game2 Game3 Game4 Game5 A A A A A B B B B B C C C C C www.treasuredata.com Copyright 2013 32
- 33. 33 今回の発表内容のまとめ • 新機能 • Treasure Query Accelerator (TQA) • バッチ型クエリと比較し、10〜50倍高速な実行エンジン • 弊社のお客様の強い要望により実現、更なるデータ活用を促 進し、新しいユースケースを切り開く • Treasure Viewer • TQAを利用したデータ可視化サービス • シンプルさを追求、高度なBIが必要無いユーザーに可視化機 能を提供する • 新価格体系 • 月額 $7500 のプレミアムプランが追加、高度な機能と手厚いサ ポートにより、大企業での導入を容易に • 業界別ソリューションテンプレートの提供を開始
- 34. 34 今後の展開: “Treasure Dataでしか出来ない事” New データ ソース • レポーティング • アドホック分析 Old データ ソース • レポーティング • アドホック分析 Old アプリケーション New アプリケーション 2014年のTreasure Dataにご期待下さい!
- 35. Board Meeting Presentation August 15th, 2013 - 3:30PM PDT 最後に: オープンソース活動 Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarkeIng Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, MarkeIng www.treasuredata.com Copyright 2013
- 37. 37 Project • Treasure Data のデータコレクタ部分は、オープンソース化 • 2013年、国内外で広く浸透 • 世界中でデータを解析可能な形で収集するのに一役買っている "We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems." "We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe” Fluentd オープンソースプロジェクトのユーザー例
- 38. Before Fluentd: M x N 通りのデータ収集・活用方法
- 39. ARer Fluentd: M + N 通りに経路を集約して簡素化 Access logs Apache Alerting Nagios App logs Frontend Backend Analysis MongoDB MySQL Hadoop System logs syslogd Databases filter / buffer / routing Archiving Amazon S3
- 40. 40 エンジニアリングチーム • Fluentd/Hadoopの他にも様々なOSSへの貢献活動を行っています。 名称 MessagePack 多言語シリアライズライブラリ Javassist Javaバイトコード生成ライブラリ Huahin Framework Hadoop MapReduce向け 汎用ライブラリ D Language D言語 ZeroMQ Java版 ZeroMQ の実装 (jeromq) Angular.JS JavaScript MVW フレームワーク 弊社ではエンジニア自身がサポート業務も担当。 プロダクトへのPDCAサイクルの高速化を意識して体制作りを行っています。