コンサルと学ぶ! Oracle最新技術 #1 Big Data も Oracle SQL で参照できるって知ってました？ ～Oracle の Big Data ソリューションの一部をご紹介～ さまざまなフォーマットのデータと Oracle Database の連携を実現する Oracle Big Data SQL についてご紹介します。 データの形式や所在を意識せず、横断的に分析可能なシステム・アーキテクチャを実現可能にします。 Database が強みの Oracle だから提案できる Big Data 製品の話をぜひ聞いてください。

1. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
Big Data も Oracle SQL で
参照できるって知ってました？
コンサルと学ぶ! Oracle最新技術 #1
2018年4月18日
日本オラクル株式会社

2. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
自己紹介：清水 美佳子(しみず みかこ)
• 日本オラクル株式会社
ｸﾗｳﾄﾞﾃｸﾉﾛｼﾞｰｺﾝｻﾙﾃｨﾝｸﾞ事業本部
クラウドプラットフォーム部
DBアーキテクト
スタッフコンサルタント
• 2014年 新卒入社 文系大学出身
• 2014年～2016年 Hyperion担当(連結会計Apps)
• 2016年～ クラウド・テクノロジー事業本部
Oracle Big Data Appliance・Oracle Big Data SQL の導入支援の他、
Database の運用設計・Exadata の物理設計支援等に従事
• 8回 入社してから行った海外旅行
• 9回 今月平日に飲みに行った or 行く予定
• 10時 平均出社時間
• 11個 2016年の異動以降の参画プロジェクト数
2

3. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
• Hadoop の特徴
– ファイル蓄積の柔軟性
– 高速な並列分散処理
– 低いバイト単価
– 豊富なエコシステム
• Hadoop の苦手なところ
– 更新（マスタ更新、1行更新）
– 低レイテンシー処理
– 大量の小さなファイル処理
データベースと、Hadoop の
お互いの強みを組み合わせる！
レポーティング
統計・機械学習
IoT
Web
SNS
Hadoop Database
3
AI（人工知能）活用のために
データをどう集約させ、紡ぎ合わせ、アクセスさせるか
ビッグデータ（特に非構造データ）の蓄積、統合、分析が得意なHadoop

4. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
Oracleは、ガートナが提唱するロジカル・データウェアハウスを実現
企業が現在必要としているのは、種別や形式が多様化した社内、社外のデータ
を従来型の社内データと併せて管理／処理することのできるデータ分析管理
ソリューションです。
ロジカル・データウェアハウス…
従来のレポジトリデータウェアハウスとその他のデータ形式・格納場所に
かかわらず横断的に分析可能にするデータ管理アーキテクチャ
データをクエリエンジンに移動するのではなく、クエリを最適なデータソー
スに振り分けてデータが存在する場所でクエリを実行するという考え
4

5. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
ロジカルデータウェアハウスの差別化要因
1. DWHのための最先端のリレーショナルデータベース
– DWHシェアNo1
– インメモリ技術
2. Big Data 製品との統合
– 幅広いポートフォリオ: HW, data management, tools, applications
– オンプレミス、クラウドを同じテクノロジで実現
3. Oracle SQLでDWHやBig dataエコシステムに横断的にアクセス
– Hadoop, NoSQLやOracleデータベースなどの様々なデータにアクセス可能
– Exadata Storage Serverの技術を流用し高い性能を発揮
5

6. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential 6
SQLで、
必要なデータが
高速にセキュアに返される
SQL
必要データ
のみ移動
SQL
Hadoop Oracle Database
12c
ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに
既存のアプリ、ツール、スキル
そのままで全てのデータがクエリ可能
Hive
metadata
Smart Scan
クエリを Hadoop の
データノードにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
Predicate Pushdown
列を絞込みながら HDFS から
ブロック読み込み可能
※列指向型フォーマットに限る
Smart Scan
クエリを Exadata の
ストレージサーバーにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
Oracle Big Data SQL

7. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
Oracle Database 外部表で Hadoop を参照
CREATE TABLE movielog
(click VARCHAR2(4000))
ORGANIZATION EXTERNAL
( TYPE ORACLE_HIVE
DEFAULT DIRECTORY Dir1
ACCESS PARAMETERS
(
com.oracle.bigdata.tablename=logs
com.oracle.bigdata.cluster=mycluster)
)
REJECT LIMIT UNLIMITED
• BDS 定義項目
– アクセスドライバタイプ
• ORACLE_HIVE : Hive のメタストアからメタデータを
引き継ぐ
• ORACLE_HDFS：メタデータを Create Table 文の中で定義
ORACLE_HIVE ドライバを使用する場合
DBMS_HADOOP パッケージを使用し、
DDL の自動作成が可能です
– アクセスパラメータ
• tablename
• Hadoop cluster
• column mapping
• error handling
• overflow handling
• Logging など
Oracle Big Data SQL Online Documentation Library, Release 3.2 4.1.1 CREATE_EXTDDL_FOR_HIVE
7

8. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
CREATE TABLE ORDER (cust_num VARCHAR2(10),
order_num VARCHAR2(20),
order_date DATE,
item_cnt NUMBER,
description VARCHAR2(100),
order_total (NUMBER8,2)) ORGANIZATION EXTERNAL
(TYPE oracle_hive
ACCESS PARAMETERS (
com.oracle.bigdata.tableName: order_db.order_summary
com.oracle.bigdata.overflow: {"action":"ERROR", ¥
"col":"DESCRIPTION"}
com.oracle.bigdata.errorOpt: [{"action":"replace", ¥
"value":"INV_NUM" , ¥
"col":["CUST_NUM","ORDER_NUM"]} ,¥
{"action":"reject", ¥
"col":"ORDER_TOTAL}]
com.oracle.bigdata.colMap: {"col":"ITEM_CNT", ¥
"field":"order_line_item_count"}
通常の外部表定義
BDS(Hive）用
アクセスパラメータ
アクセスドライバ
【参考】外部表例
8

9. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
RDBMSが必要なくなるわけではない、うまく組み合わせることが重要
パターン・データ特性
Hadoop
（Big Data Appliance）
RDBMS
（Exadata）
データ密度・データ価値 低い 高い
フォーマット変更頻度 多い 少ない
粒度 細かい 粗い
参照頻度 少ない 多い
システム間のETL処理と
生データ保持
ETL処理、生データ 処理後データ
センサーデータ、
ログデータ、GPSデータ、SNS
等
既存のRDBMS内のデータ
明細データ サマリデータ
経年データ アクティブデータ
他システム
(メインフレーム、ホスト等)生データ
ETL処理後データ
必ず使うデータあるとうれしいデータ
（貯めたけど使わないかもしれない）
HadoopとRDBMSにおけるデータ配置例
9

10. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
Oracle Big Data Lite Virtual Machine のご紹介
• 事前設定済のオラクルビッグデータ製品の最新バージョン
をインストール作業の必要なく、すぐに利用可能
• OTNサイトから無料でダウンロード
• サンプルデータ込、自己学習のための動画、
デモスクリプトも公開
• RDBMS、Hadoop、NoSQL、R、Spatial, Graph、
興味のある製品から、ビッグデータ活用の全体フローまで
• 自己学習環境としてぜひお試しください
*自己学習用のサポート対象外製品です
*使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください
*OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます
https://community.oracle.com/community/database/big_data
本日使用した製品が、VM環境で無料でお試しできます！
10

11. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential
本日ご紹介した Oracle Big Data SQL は、
Hadoop に格納されたデータを Oracle
Database から透過的に参照
可能にする製品になります。
複数のデータストアに対してのデータ活用の
ソリューションの提案活動にチャレンジしたいと
思っています！
センサーデータ
ログデータ
マスターデータ
トランザクションデータ
データ集約、統合、アクセス
知の創出と活用
ビジネス価値創出
こういう仕組みのような提案出来る
コンサルタントになりたいと思っています
これからやりたいこと
11

12. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | 日本オラクル株式会社 Confidential