[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...Insight Technology, Inc.
Jim GrayにJerry Held, Karel Youseffi が設計した Ingresを源流に持つ由緒正しいRDBMS。ミッションクリティカル目的にこんな実装をするNonStop SQL。これを知れば絶対に使ってみたくなる。「止まりませんように」、と祈りつつ使う時代は終わりにしませんか。トランザクションをあらゆる障害でも失わない実装、その時メモリー内でどのように動くのか、ディスクドライバーは信用できるのか、トランザクションを失わず、性能も確保、そんな盾矛を両立させる技術をご紹介します。さらに、「それって古臭くない」、そんなことないんです。今やオープンなインターフェイスで開発いただいて結構なんです。インフラが、NonStop SQL があなたのデータをがっちり守ります、「ひと」ではなく「コンピュータ」が。是非実感しに来てください。
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...Insight Technology, Inc.
Jim GrayにJerry Held, Karel Youseffi が設計した Ingresを源流に持つ由緒正しいRDBMS。ミッションクリティカル目的にこんな実装をするNonStop SQL。これを知れば絶対に使ってみたくなる。「止まりませんように」、と祈りつつ使う時代は終わりにしませんか。トランザクションをあらゆる障害でも失わない実装、その時メモリー内でどのように動くのか、ディスクドライバーは信用できるのか、トランザクションを失わず、性能も確保、そんな盾矛を両立させる技術をご紹介します。さらに、「それって古臭くない」、そんなことないんです。今やオープンなインターフェイスで開発いただいて結構なんです。インフラが、NonStop SQL があなたのデータをがっちり守ります、「ひと」ではなく「コンピュータ」が。是非実感しに来てください。
活用段階に入ったNoSQLですがまだまだ実際どう使えるのかご存じ無い方も多いのでは無いでしょうか。当セッションでは、MapR-DB(Hbase互換のNoSQL)が企業でどう活用されているのか、インドのマイナンバー事例や国内事例を元に実際の使い方のイメージと技術的な裏付けをご説明します。2015年6月10〜12日に開催されたdb tech showcase Tokyo 2015での講演資料です。
[db tech showcase Tokyo 2015] D33:Superdome X 上の SQL Server 2014 OLTP 検証結果と S...Insight Technology, Inc.
Windows Server 2012 R2 と SQL Server 2014 の Superdome X 上の正式サポートを前に、OLTP 検証ツールを用いて、ブレード数を、1、2、4、8 枚と順次増加させ、最大 16 NUMA Node 240 物理コア CPU 4TB メモリー上でスケールアップ性能検証を実施しました。このサイズでの検証は、米国本社でも実績がなく、検証過程で発生した問題点を、米国 Windows Server / SQL Server 開発チームにフィードバックを行うことが出来ました。このスケールアップ検証結果を発表します。現在、米国本社 SQL Server 開発チームでは、vNext (SQL Server 2016) の開発が進んでおり、この中でのインメモリー活用処理とクエリー・ストアー機能に関しての最新情報をお知らせします。
[db tech showcase Tokyo 2014] D21: Postgres Plus Advanced Serverはここが使える&9.4新機...Insight Technology, Inc.
日本でも徐々に浸透してきたPostgres Plus Advanced Server (PPAS)。PPASが備えている実用的な機能を2014年末にリリース予定の最新版9.4の新機能を交えて、コミュニティ版PostgreSQLと比較しながら解説します。
特に性能面で大きな向上をうたっているパーティショニング機能については実際に検証した結果を紹介します。
活用段階に入ったNoSQLですがまだまだ実際どう使えるのかご存じ無い方も多いのでは無いでしょうか。当セッションでは、MapR-DB(Hbase互換のNoSQL)が企業でどう活用されているのか、インドのマイナンバー事例や国内事例を元に実際の使い方のイメージと技術的な裏付けをご説明します。2015年6月10〜12日に開催されたdb tech showcase Tokyo 2015での講演資料です。
[db tech showcase Tokyo 2015] D33:Superdome X 上の SQL Server 2014 OLTP 検証結果と S...Insight Technology, Inc.
Windows Server 2012 R2 と SQL Server 2014 の Superdome X 上の正式サポートを前に、OLTP 検証ツールを用いて、ブレード数を、1、2、4、8 枚と順次増加させ、最大 16 NUMA Node 240 物理コア CPU 4TB メモリー上でスケールアップ性能検証を実施しました。このサイズでの検証は、米国本社でも実績がなく、検証過程で発生した問題点を、米国 Windows Server / SQL Server 開発チームにフィードバックを行うことが出来ました。このスケールアップ検証結果を発表します。現在、米国本社 SQL Server 開発チームでは、vNext (SQL Server 2016) の開発が進んでおり、この中でのインメモリー活用処理とクエリー・ストアー機能に関しての最新情報をお知らせします。
[db tech showcase Tokyo 2014] D21: Postgres Plus Advanced Serverはここが使える&9.4新機...Insight Technology, Inc.
日本でも徐々に浸透してきたPostgres Plus Advanced Server (PPAS)。PPASが備えている実用的な機能を2014年末にリリース予定の最新版9.4の新機能を交えて、コミュニティ版PostgreSQLと比較しながら解説します。
特に性能面で大きな向上をうたっているパーティショニング機能については実際に検証した結果を紹介します。
[db tech showcase Tokyo 2015] C32:「データ一貫性にこだわる日立のインメモリ分散KVS~こだわりの理由と実現方法とは~」 ...Insight Technology, Inc.
分散KVSの特徴や使い方、分散KVS製品の選択指標である「一貫性」と「可用性」を解説します。また日立が開発したインメモリ分散KVS【Hitachi Elastic Application Data Store(EADS)】とその活用事例を紹介しつつ、EADSが「一貫性」にこだわる理由と、「一貫性」を実現するポイントとなったPaxosなど製品で使用されている技術についてお話しします。
This document introduces Hivemall, an open-source machine learning library built as a collection of Hive user-defined functions (UDFs). Hivemall allows users to perform scalable machine learning on large datasets stored in Hive/Hadoop. It supports various classification, regression, recommendation, and feature engineering algorithms. Some key algorithms include logistic regression, matrix factorization, random forests, and anomaly detection. Hivemall is designed to perform machine learning efficiently by avoiding intermediate data reads/writes to HDFS. It has been used in industry for applications such as click-through rate prediction, churn detection, and product recommendation.
Presto is a fast, distributed SQL query engine that allows for ad-hoc queries against data sources like Cassandra, Hive, Kafka and others. It uses a pluggable connector architecture that allows it to connect to different data sources. Presto's query execution is distributed across worker nodes and queries are compiled to Java bytecode for efficient execution. Some limitations of Presto include its inability to handle large joins and lack of fault tolerance.
[db tech showcase Tokyo 2015] D25:The difference between logical and physical...Insight Technology, Inc.
This document discusses the differences between physical and logical database replication in Oracle. It begins with introductions and an overview of Dbvisit Software. The main sections summarize physical replication, logical replication, and compare the two approaches. Physical replication uses complete redo blocks to keep the target database identical to the source. Logical replication mines redo logs and converts the information to SQL statements to replicate the data. The document outlines the advantages and disadvantages of each approach and how they work at a technical level.
Neo4jは、グラフ理論をデータベースエンジンの設計思想として採用しているDBMS (Data Base Management System)です。特にNeo4jが、他のグラフデータベースに比べ、一目をおいていることは、データ処理にCypherというSQLライクなクエリ言語が使えるということです。Cypherは、関係型データベースでさえ苦手とするとても複雑なジョインが絡む処理や、そもそもSQLではアルゴリズムの限界があるデータ処理にも対応できます。
マイクロソフトは より効率的、かつ大量のデータを使ったデータ分析のための基盤を急ピッチで拡充しています。
分析自体やデータ準備の前処理における手段の1つとして使って頂くことを想定している各種製品・サービスについて説明します。
具体的には、R の並列実行環境である Microsoft R Server、Power BI、並列処理基盤である Azure Data Lake Analytics、Azure Machine Learning を取り上げます。
This document contains several database query results. The first result shows the database version and current user. Subsequent results show additional data from database tables, including column names and values like the database name, version number, and identifiers.
The document discusses SAP HANA, a platform for online transaction processing (OLTP) and online analytical processing (OLAP). It notes that SAP HANA allows for one copy of data to support both OLTP and OLAP workloads. It also discusses key capabilities of SAP HANA like advanced compression, multi-tenancy, and integration with Hadoop. The document then focuses on how SAP HANA enables smart data access and smart data integration across different data sources.
HTAP (Hybrid Transactional/Analytical Processing) databases allow both online transaction processing (OLTP) and online analytical processing (OLAP) to run simultaneously on the same data for real-time analytics. SAP HANA is an in-memory HTAP database that utilizes techniques like columnar storage and SIMD instructions to provide fast transactional processing and analytical queries on the same data. SAP HANA's lightweight locking mechanism and use of hardware transactional memory further improves the performance of OLTP workloads.
- SAP announced that over 18,000 customers are now running SAP HANA, the company's in-memory database platform. This represents a large increase in adoption of SAP HANA.
- Some of SAP's large customers implementing SAP HANA include Cisco, Siemens, VMware, Lidl, Heidelberg University Hospital, and others across various industries.
- SAP HANA is a key part of SAP's Modern Data Platform strategy to enable real-time analytics, advanced analytics, and digital transformation for customers.
The document discusses SAP HANA, express edition (HXE), a free software package that allows users to run an SAP HANA database on their local machine or cloud instance. It provides an overview of HXE's key capabilities and limitations, how to download, install, and manage an HXE system, and differences between the HXE server-only and full applications versions. Examples of using HXE administration and development tools like hdbsql and SAP HANA Studio are also provided.
9. 他のデータベースとのCPU命令数の比較
1
9 7
29
102
68
0
20
40
60
80
100
120
0.0E+00
5.0E+11
1.0E+12
1.5E+12
2.0E+12
2.5E+12
3.0E+12
Columnar DB A Columnar DB B
In Memory DB
A
Rt=Instructions / (IPC * Hz * Parallelism)
Row Store DB A Row Store DB B
CPU
Instructions
Vectorとの
比較(倍)
昨年のdb tech showcase 2014 “Actian Vectorで得られるBIにおける真のパフォーマンスとは”より抜粋
http://www.slideshare.net/kshinkub/db-tech-showcase2014a14actian-vectorbi-36004866
select
sum(l_extendedprice * l_discount) as revenue
from
lineitem ← (80GB , 6億件)
where
l_shipdate >= date '1996-01-01'
and l_shipdate < date '1996-01-01' + interval '1' year
and l_discount between 0.02 - 0.01 and 0.02 + 0.01
and l_quantity < 24
12. Vector Hadoop SQL Editionの構成
HDFS
Name Node Data Node Data Node Data Node
YARN
SQL on
Hadoop
Engine
MapReduce Tez Spark … 3rd パーティー
HDFS
Name Node Data Node Data Node Data Node
YARN
3rd パーティー
Vector Hadoop SQL Editionの場合、YARNは必須ではない
13. Vector Hadoop SQL Editionの構成(各ノードズーム)
HDFS
Name Node Data Node Data Node Data Node
Vector-H
master
Vector-H
Worker(x100)
Vector-H
Worker(x100)
Vector-H
Worker(x100)
HDFS I/O APIHDFS I/O API
JDBC/ODBC
All to All MPI (Infiniband ready)
Ethernet
18. データブロックのローカリティを確保する戦略①
① HDFSへのI/O性能は大丈夫か?
HDFSのデータのローカリティを確保できるのか?
HASHパーティション・テーブル カスタム Block Placement
- Table A Hash #1
- Table B Hash #1
- Table A Hash #2
- Table B Hash #2
- Table A Hash #3
- Table B Hash #3
例)
Partition数=4
HDFS Replication Factor=2
A #1 A #1A #2 A #2A #3
Node #1 Node #2 Node #3
- Table A Hash #4
- Table B Hash #4
A #3
Node #4
A #4A #4
B #1 B #1B #2B #3 B #3B #4 B #4B #2