SQream by Rafi (japanese)
•
0 likes•127 views
Original document provided by Rafi Glickman (SQream) Japanese version is provided by Atsushi Mizuno (API consultants)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SQream by Rafi (japanese)
Similar to SQream by Rafi (japanese) (20)
More from Yutaka Kawai
More from Yutaka Kawai (20)
Recently uploaded
Recently uploaded (11)
SQream by Rafi (japanese)
- 1. 1 GPU DATA WAREHOUSE DATA ANALYTICS FOR MASSIVE Rafi Glickman,APAC Sales Director
- 2. 2 HQ in 7 WTC New York | R&D in Tel Aviv CORPORATE PROFILE FOUNDED IN 2010 with Alibaba Cloud Strategic Partnership Patents 10 Employees 60+
- 5. 5 これまでのデータベースはこのレベルの データを扱うように作られてこなかった NoSQL & Hadoop GPU Database Relational DB 1970s-1990s 1990-2010 MPP zone 2005-2010 In-Memory zone 2010… Massive Data zone HiveKineticaAerospikeMongo DB SQREAM DBMapD MemSQL VoltDBDB2 BLU IBM Netezza IBM Oracle DB2 EDW Teradata Vertica Redshift Exadata Oracle Server SQL Classic Relational zone
- 6. 6 なぜビッグデータ分析なのか? データは現代の石油 持っていられたら良い、ではなく、 持っていなければならない データは、多ければ多いほど、多くの洞察、多くの価値が得られる
- 7. 7 顧客の声 データ駆動型組織になりたい たくさんのデータがあっても、断片的にしか分析していない 当社のシステムは大量のデータを処理するようには設計されていない データの準備とモデリングの時間は絶えず増えている 既存のデータウェアハウスの維持とアップグレードはますます高価である
- 8. 8 処理プロセスには⾧時間が必要 3-5 hours30 minutes Data lake Legacy MPP DB 1000 of CPUs 1-2 hours BI customersData sources ETL + Cubes + aggregation + index
- 9. 9 ビッグデータから価値を抽出するのは それほど簡単ではない ほとんどのデータベースは現在のデータ量に追いつくことができない コスト 価値実現までの時間 知見 技術リソース 技術的な障壁
- 11. 11 ~90% BI is Lost Data Analyzed ~10% 貴重な洞察が発見されない
- 12. 12 急速に増大するデータの包括的な分析 性能、規模、効率 氷山の一角以上のものを分析する Data Lake Analytic Data % of Data 100 TB 10 TB 10 % 500 TB 20 TB 4 % 1 PB 30 TB 3 % 10 PB 50 TB 0.5 %
- 13. 13 データが多いほど少なくなる分析可能な割合 Data Lake Analytic Data % of Data 100 TB 10 TB 10 % 500 TB 20 TB 4 % 1 PB 30 TB 3 % 10 PB 50 TB 0.5 % Data Lake Size 100 TB 500 TB 1 PB 10 PB % of Data analyzed 10% 4% 3% .5% 履歴を追わないと見えないものがある 一つのサイクルに7年かかる場合には、 実際の分析には14年間のデータが必要 何気ない見落としが、間違った方向へ の入り口
- 17. 17 Hadoop環境内の課題 優れたファイルシステムではあるが、分析プラットフォームではない。 ビッグデータ分析を解決するようには設計されていない。 複雑な環境 さまざまな技術 幅広いスキルを持つプログラマーの軍団 大量のコードの保守 多くのノードは維持管理が困難 結果として、それはビッグデータ分析の課題を役立たない
- 18. 18 一般的なアプライアンス（Exadata、 Teradataなど）での課題 導入費用が高価である 規模拡大にとても費用がかかる 計算処理とストレージがリンクされている 柔軟性がない
- 19. 19 SQreamの価値提案 より多くのデータ分析による、より多くのビジネス洞察の取得 インフラではなくビジネスの洞察に焦点 高い費用対効果 はるかに高速 最小限の設置面積と管理
- 20. 20 INTRODUCING SQREAM DB GPU-ACCELERATED DATA WAREHOUSE 100xfaster Queries 10%of resources Cost 20xmore data With more dimensions Analyze
- 21. 21 MPPシステムを補完するSQream 大規模なデータ分析機能を従来のMPPエコシステムにもたらすことで、 ギャップを埋める 大規模分析用に設計 CPUによる拡張の費用対効果が低い場合はGPUテクノロジに基づく 高速で費用対効果の高い、エネルギー効率の高い環境を提供 MPP（超並列コンピューティング）による分析パフォーマンスの向上
- 23. 23 高速なデータ入出力 ロードにGPUを使用 各GPUに5,000個以上のGPUコンピュートコア 900 GB /秒のメモリ帯域幅 すべてのデータを1:5で圧縮 メタデータを収集
- 24. 24 典型的なDBMSロード Data Data Data Data Data Data Data Data Data Source Data 100TB raw Write to disk ~80TB Indexing ~105 TB Data Data Data Data Data Data Data Data Data Indexes • データは、照会される準備ができておらず、 未だ予測・確定Viewや、インデックスなどを作成する必要があ る状態でロードされる
- 25. 25 SQream DBの読み込み Data Data Data Data Data Data Data Data Data Source Data 100TB raw Write to disk ~20TB Data ready ~20.1 TB with metadata Data Data Data Data ¥¥ Data Data Data Data Data Metadata • SQream DBは、自動でGPU圧縮 • 少ないデータの読み取り=少ないI / O =速いクエリ • キューブ、インデックスなしで生データに直接アクセス プライバシー保護のため、この画像の自動ダウンロードをブロックしました。 プライバシー保護のため、この画像の自動ダウンロードをブロックしました。 1:5の圧縮により、SQream DBはディスクから読み取るデータが少なくなる。
- 26. 26 費用対効果 GPUの使用により、ストレージと計算処理を分離 拡張は必要に応じて計算能力（GPU）やストレージを追加するだけ 1Uサーバーは20,000コアを持つことが可能! 共有ディスクを使ったストレージ
- 27. 27 コンパクトサイズ - 巨大な力! 使いやすいSQLでアクセス SQream DBはMPP、しかし小型パッケージ 分離された計算処理とストレージ 小さな設置面積 NVIDIA GPUを搭載した1Uサーバーは、最大100TBの42Uレガシーデータ ウェアハウスラックと入れ替え可能
- 28. 28 最小限のスケーリング影響 コスト パフォーマンス上 ハードウェアコスト 複雑性 Seconds 12 11.5 11 10.5 10 Billion Rows 50 100 150 200 250 300 Query Performance
- 29. 29 SQreamはHadoop環境を補完 HDFSからSQreamにデータを取り込んで利益を得る 比類のない摂取時間 - 2-3 TB ¥ H GPUスピーディーでパワフルな圧縮（～1:5） 複雑さを軽減 事前モデリングは不要 完全SQL 得るべきGPU技術 速度 より多くのビジネス価値
- 31. 31 売上増加 AD-TECH AVRO PARSER Tesla GPUs Acquisition Sources 85 TB/day in ad impressions for constructing bidding histograms Data 2x NVIDIA Queries take 5 hours Extract Extract Load Queries take 5 minutes
- 32. 32 AVRO PARSER Tesla GPUs Acquisition Sources Data 8x NVIDIA Extract Extract Load Not feasible X Queries take 5 minutes 売上増加 AD-TECH 360 TB/day ingested to enhance bid histogram accuracy
- 33. 33 4億人の顧客の理解 TELECOM HP DL380g9 with NVIDIA Tesla GPU 96 GB RAM + 6 TB storage $200K 40 NODES 5 full racks 7600 CPU cores $10,000,000 18M 10M 360M 120M Ingest time Reporting time Ownership Cost
- 34. 34 性能を確保しながらコストカット RETAIL Dell C4130 with 4x NVIDIA Tesla GPUs 512 GB RAM + iSCSI JBOD (20TB) 8 full 42U racks, 56 S-Blades 7 TB RAM Compression ratio Netezza Ownership Cost 33.70 Average query time (seconds) Processing Units (S-Blade / GPUs) 4.0 56 $12,000,000 31.70 4.7 4 $500,000 ACV calculation on 24 TB of data, 300B rows, 8 tables with complex, nested joins
- 35. 35 サイバーセキュリティ分析の改善 TELECOM HP ArcSight（SIEM）のスピードアップ より多くのデータを分析して、セキュリティーに関する洞察を深めます。 高価なハードウェアに対して数千万円もの節約
- 36. 36 SQreamとOrangeは100倍のコストパフォーマンスを示 し、データベースの限界を取り除きました “ Pascal Déchamboux | Director of Software SQreamは、実際の顧客の利益のために、急増する データと歩調を合わせるのに役立ちます。 “ Suppachai Panichayunon, Head Solution Architect お客様の声 SQreamは、大規模なゲノムデータセットに関す る癌研究の研究年月を削減の助けになっています。 “ Prof. Gideon Rechavi, Head of Cancer Research 私たちは、これまではなかった分析能力を得るための費 用対効果の高い機会に出会いました。 “ RF Group Leader
- 37. 37 Sqreamを利用すべきなのは、 BIアナリスト 大量のデータを分析する必要がある レポート、ダッシュボードへの迅速な対応が必要 データ科学者 Python / Jupyterを含むさまざまなツールと簡単に接続 生データの事前索引付けを必要としない、非常に単純なデータ探索 あらゆる会社 多くのデータと現在のソリューションの難しいスケーラビリティ 数億円を費やすことなく高性能データパイプラインを構築する必要がある
- 38. 38 Cost Performance ! Excellent performance, inflexible scaling Standard performance, inflexible scaling Excellent performance, excellent scaling Standard performance, excellent scaling $++ $-- Scaling - Ability to scale over 10TB Performance SQream DB IBM Netezza SQL Server MongoDB Oracle Exadata Impala