This document introduces Hivemall, an open-source machine learning library built as a collection of Hive user-defined functions (UDFs). Hivemall allows users to perform scalable machine learning on large datasets stored in Hive/Hadoop. It supports various classification, regression, recommendation, and feature engineering algorithms. Some key algorithms include logistic regression, matrix factorization, random forests, and anomaly detection. Hivemall is designed to perform machine learning efficiently by avoiding intermediate data reads/writes to HDFS. It has been used in industry for applications such as click-through rate prediction, churn detection, and product recommendation.
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...Insight Technology, Inc.
SAP HANAのPAL(Pridictive Analysis Library)は非常にパワフルな予測分析機能です。PALは60以上の分析アルゴリズムから成り、これらを専用のGUIで組み合わせてフロー化することにより、様々な分析モデルを容易に作成することができます。また、インメモリーテーブル上で実行するため、全量計算を前提とした分析プラットホームに適しています。このセッションでは、PALの基本的な機能と使い方を紹介すると共に、最近行われた性能テストをご紹介しながらスケールアップ・アーキテクチャとインメモリプラットホームが分析分野にもたらす可能性についてお話します。
[db tech showcase Tokyo 2015] D33:Superdome X 上の SQL Server 2014 OLTP 検証結果と S...Insight Technology, Inc.
Windows Server 2012 R2 と SQL Server 2014 の Superdome X 上の正式サポートを前に、OLTP 検証ツールを用いて、ブレード数を、1、2、4、8 枚と順次増加させ、最大 16 NUMA Node 240 物理コア CPU 4TB メモリー上でスケールアップ性能検証を実施しました。このサイズでの検証は、米国本社でも実績がなく、検証過程で発生した問題点を、米国 Windows Server / SQL Server 開発チームにフィードバックを行うことが出来ました。このスケールアップ検証結果を発表します。現在、米国本社 SQL Server 開発チームでは、vNext (SQL Server 2016) の開発が進んでおり、この中でのインメモリー活用処理とクエリー・ストアー機能に関しての最新情報をお知らせします。
This document introduces Hivemall, an open-source machine learning library built as a collection of Hive user-defined functions (UDFs). Hivemall allows users to perform scalable machine learning on large datasets stored in Hive/Hadoop. It supports various classification, regression, recommendation, and feature engineering algorithms. Some key algorithms include logistic regression, matrix factorization, random forests, and anomaly detection. Hivemall is designed to perform machine learning efficiently by avoiding intermediate data reads/writes to HDFS. It has been used in industry for applications such as click-through rate prediction, churn detection, and product recommendation.
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...Insight Technology, Inc.
SAP HANAのPAL(Pridictive Analysis Library)は非常にパワフルな予測分析機能です。PALは60以上の分析アルゴリズムから成り、これらを専用のGUIで組み合わせてフロー化することにより、様々な分析モデルを容易に作成することができます。また、インメモリーテーブル上で実行するため、全量計算を前提とした分析プラットホームに適しています。このセッションでは、PALの基本的な機能と使い方を紹介すると共に、最近行われた性能テストをご紹介しながらスケールアップ・アーキテクチャとインメモリプラットホームが分析分野にもたらす可能性についてお話します。
[db tech showcase Tokyo 2015] D33:Superdome X 上の SQL Server 2014 OLTP 検証結果と S...Insight Technology, Inc.
Windows Server 2012 R2 と SQL Server 2014 の Superdome X 上の正式サポートを前に、OLTP 検証ツールを用いて、ブレード数を、1、2、4、8 枚と順次増加させ、最大 16 NUMA Node 240 物理コア CPU 4TB メモリー上でスケールアップ性能検証を実施しました。このサイズでの検証は、米国本社でも実績がなく、検証過程で発生した問題点を、米国 Windows Server / SQL Server 開発チームにフィードバックを行うことが出来ました。このスケールアップ検証結果を発表します。現在、米国本社 SQL Server 開発チームでは、vNext (SQL Server 2016) の開発が進んでおり、この中でのインメモリー活用処理とクエリー・ストアー機能に関しての最新情報をお知らせします。
[db tech showcase Tokyo 2015] C16:Oracle Disaster Recovery at New Zealand sto...Insight Technology, Inc.
This document provides an agenda and introduction for a presentation on disaster recovery using physical replication technology. The presentation will include an overview of Dbvisit Standby software, which enables disaster recovery for Oracle Standard Edition databases. It will also present a case study of how the New Zealand Stock Exchange uses Dbvisit Standby to ensure continuous availability of critical trading systems across two data centers.
[db tech showcase Tokyo 2015] D25:The difference between logical and physical...Insight Technology, Inc.
This document discusses the differences between physical and logical database replication in Oracle. It begins with introductions and an overview of Dbvisit Software. The main sections summarize physical replication, logical replication, and compare the two approaches. Physical replication uses complete redo blocks to keep the target database identical to the source. Logical replication mines redo logs and converts the information to SQL statements to replicate the data. The document outlines the advantages and disadvantages of each approach and how they work at a technical level.
Presto is a fast, distributed SQL query engine that allows for ad-hoc queries against data sources like Cassandra, Hive, Kafka and others. It uses a pluggable connector architecture that allows it to connect to different data sources. Presto's query execution is distributed across worker nodes and queries are compiled to Java bytecode for efficient execution. Some limitations of Presto include its inability to handle large joins and lack of fault tolerance.
[db tech showcase Tokyo 2015] C32:「データ一貫性にこだわる日立のインメモリ分散KVS~こだわりの理由と実現方法とは~」 ...Insight Technology, Inc.
分散KVSの特徴や使い方、分散KVS製品の選択指標である「一貫性」と「可用性」を解説します。また日立が開発したインメモリ分散KVS【Hitachi Elastic Application Data Store(EADS)】とその活用事例を紹介しつつ、EADSが「一貫性」にこだわる理由と、「一貫性」を実現するポイントとなったPaxosなど製品で使用されている技術についてお話しします。
[db tech showcase Tokyo 2015] C16:Oracle Disaster Recovery at New Zealand sto...Insight Technology, Inc.
This document provides an agenda and introduction for a presentation on disaster recovery using physical replication technology. The presentation will include an overview of Dbvisit Standby software, which enables disaster recovery for Oracle Standard Edition databases. It will also present a case study of how the New Zealand Stock Exchange uses Dbvisit Standby to ensure continuous availability of critical trading systems across two data centers.
[db tech showcase Tokyo 2015] D25:The difference between logical and physical...Insight Technology, Inc.
This document discusses the differences between physical and logical database replication in Oracle. It begins with introductions and an overview of Dbvisit Software. The main sections summarize physical replication, logical replication, and compare the two approaches. Physical replication uses complete redo blocks to keep the target database identical to the source. Logical replication mines redo logs and converts the information to SQL statements to replicate the data. The document outlines the advantages and disadvantages of each approach and how they work at a technical level.
Presto is a fast, distributed SQL query engine that allows for ad-hoc queries against data sources like Cassandra, Hive, Kafka and others. It uses a pluggable connector architecture that allows it to connect to different data sources. Presto's query execution is distributed across worker nodes and queries are compiled to Java bytecode for efficient execution. Some limitations of Presto include its inability to handle large joins and lack of fault tolerance.
[db tech showcase Tokyo 2015] C32:「データ一貫性にこだわる日立のインメモリ分散KVS~こだわりの理由と実現方法とは~」 ...Insight Technology, Inc.
分散KVSの特徴や使い方、分散KVS製品の選択指標である「一貫性」と「可用性」を解説します。また日立が開発したインメモリ分散KVS【Hitachi Elastic Application Data Store(EADS)】とその活用事例を紹介しつつ、EADSが「一貫性」にこだわる理由と、「一貫性」を実現するポイントとなったPaxosなど製品で使用されている技術についてお話しします。
56. Low total costs
コスト・パフォーマンスの問題もなくサービスを提供できている
More hardware
ビジネスの成長を支えるために投資をする時期
Costs too high! optimize
コストへの警告が上がり、アーキテクチャの見直しが求められる
Optimization
アーキテクチャが経済的にもパフォーマンス的にも最適化される
フェーズ
Changing the Growth Formula
https://www.compose.io/articles/changing-the-growth-formula/