SlideShare a Scribd company logo
1 of 101
Download to read offline
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrow
#ArrowTokyo
須藤功平
株式会社クリアコード
Apache Arrow東京ミートアップ2018
2018-12-08
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
自己紹介:名前
須藤功平(すとうこうへい)
「と」はにごらない!
✓
よく使うアカウント名:kou
KOUhei
↑を使えないときのアカウント名:ktou
Kouhei suTOU
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
自己紹介:プログラミング
Rubyが好き
2004-01からコミッター✓
130くらいのライブラリーをメンテナンス
詳細はRubyKaigi 2018でのキーノートを参照
✓
Rubyでプレゼンツールも作っている(このツール)✓
✓
C/C++を書いている時間も結構ある✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
自己紹介:C/C++を書く理由
RubyでC/C++のライブラリーを使うため!
Rubyを書くためにC/C++を書く
✓
Apache ArrowをC++で開発しているのもそう
テストはRubyで書いている✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
自己紹介:Apache Arrowの開発
2016-12-21に最初のコミット✓
2017-03-16にGLibバインディングを寄贈✓
2017-05-10にコミッター✓
2017-09-15にPMCメンバー✓
2018-12-06現在コミット数3位(224人中)✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
自己紹介:仕事
株式会社クリアコードの代表取締役
自由なソフトウェアでビジネスをする会社
自由なソフトウェア:OSSが参考にしたやつ
✓
✓
私の最近の業務内容
自由なソフトウェアの推進
例:SpeeeさんがOSSを開発することをサポート✓
✓
データ処理ツールの開発事業立ち上げ(New!)✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ処理ツールの開発事業
データ分析をする事業じゃない✓
データ分析をする人たちが使うツールを
開発する事業
Apache Arrowはそのために有用なツール
Apache Arrowの開発に参加し始めたのはRubyで使いたかったから
事業立ち上げのためにApache Arrowの開発に参加し始めたわけではない
Apache Arrowの開発に参加していたら面白そうと思えてきた
✓
募集:開発して欲しい・開発したい(転職したい)✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrow
各種言語で使える
インメモリー
データ処理
プラットフォーム
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
実現すること
データ処理の効率化
(大量データが対象)
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
効率化のポイント
速度
速いほど効率的✓
✓
実装コスト
低いほど効率的✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
速度向上方法
遅い部分を速く✓
高速化できる部分を最適化✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
遅い部分
データ交換
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ交換
データ処理ツール間で必要✓
データ処理システム
複数ツールを組み合わせて実現✓
データ処理システムではデータ交換が必須✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ処理システム例
データ交換
データ収集
ツール
データ前処理
ツール
分析
ツール
可視化
ツール
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ交換処理
シリアライズ
データをバイト列へ変換
1.
転送
バイト列を別ツールに渡す
2.
デシリアライズ
バイト列からデータを復元
3.
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ交換処理:必要なリソース
シリアライズ:CPU1.
転送:I/O(ネットワーク・ストレージ・メモリー)2.
デシリアライズ:CPU3.
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Ruby+JSONでデータ交換
# 1000要素の数値配列
n = 1000
numbers = n.times.collect {rand}
# シリアライズ
JSON.dump(numbers, output)
# デシリアライズ
JSON.load(input)
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Ruby+JSONの速度の傾向
n シリアライズ デシリアライズ
1000 0.011秒 0.004秒
10000 0.093秒 0.037秒
100000 0.798秒 0.369秒
注:ストレージI/Oなしで計測
データ量の増加と同じくらいの比率で遅くなる
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データ交換の高速化
データ量が増加すると
シリアライズ・デシリアライズ速度が劣化
✓
速度劣化を抑えられれば高速化可能✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowのアプローチ
データフォーマットを定義
シリアライズ・デシリアライズが速い✓
データ量増加に影響を受けにくい✓
✓
このフォーマットの普及
各種言語で読み書き処理を実装✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Ruby+Apache Arrowでデータ交換
# 1000要素の数値配列
n = 1000
numbers = Arrow::Int32Array.new(n.times.collect {rand})
table = Arrow::Table.new("number" => numbers)
# シリアライズ
table.save(output)
# デシリアライズ
Arrow::Table.load(input)
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Ruby+Apache Arrowの速度の傾向
n シリアライズ デシリアライズ
1000 0.0003秒 0.0004秒
10000 0.0004秒 0.0004秒
100000 0.0015秒 0.0004秒
注:ストレージI/Oなしで計測
全体的に速い+デシリアライズ速度が一定
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Sparkでの高速化事例
Spark⇔PySpark間でデータ交換
従来:pickleでシリアライズ
pickle:Python標準のシリアライズ方法
✓
Apache Arrowを使うことで数十倍レベルの高速化✓
Spark⇔sparkylyrも同様✓
✓
詳細は上新さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowフォーマットの特徴
メモリー上でのフォーマットを変換しない
JSONは「数値」を「数字」に変換✓
例:29(1バイト整数)→"29"(2バイト文字列)✓
✓
シリアライズ時:変換不要✓
デシリアライズ時:パース不要✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
メモリーマップの活用
メモリーマップ機能
ファイルの内容をメモリー上のデータのように
アクセスできる機能
✓
readせずにデータを使える(データコピー不要)✓
✓
パース不要+メモリーマップ
デシリアライズ時にメモリー確保不要✓
「転送」コスト削減✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
遅い部分の高速化まとめ
遅い部分を速く
データ交換を速く✓
✓
高速化できる部分を最適化✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
高速化できる部分
大量データの計算
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
大量データの計算の高速化
各データの計算を高速化✓
まとまったデータの計算を高速化✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
各データの計算の高速化
データを局所化
CPUのキャッシュメモリーを活用できる✓
✓
局所化に必要な知識
データの使われ方✓
局所化:一緒に使うデータを近くに置く✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
想定ユースケース
OLAP(OnLine Analytical Processing)
データから探索的に知見を探し出すような処理✓
✓
列単位の処理が多い
集計処理・グループ化・ソート…✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
OLAP向きのデータの持ち方
列行
a b c
1
2
3
値 値 値
値 値 値
値 値 値
列
行
a b c
1
2
3
値 値 値
値 値 値
値 値 値
Apache
Arrow
列ごと
RDBMS
列 行
値の管理単位 行ごと
高速なアクセス単位
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
まとまったデータの計算を高速化
SIMDを活用
Single Instruction Multiple Data
✓
スレッドを活用✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
SIMDを活用
CPU:データをまとめてアライン
アライン:データの境界を64の倍数とかに揃える
✓
GPUの活用✓
条件分岐をなくす
null/NA用の値は用意せずビットマップで表現
Is it time to stop using sentinel values for null / NA values?
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
条件分岐とnull
null t f t
data 1 X 3
f t t
X 2 5
+[1, null, 3] [null, 2, 5]
f f t
X X 8
[null, null, 8]
ビット単位の& nullのところも
気にせずSIMDで+
null
data
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
スレッド活用時のポイント
競合リソースを作らない
リソースロックのオーバーヘッドで遅くなりがち✓
✓
アプローチ
リソースを参照するだけ✓
各スレッドにコピー✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowとスレッド
データはリードオンリー
スレッド間でオーバーヘッドなしで共有可能✓
✓
データコピーは極力避けたい
データ交換時もスレッド活用時も✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
高速化のまとめ
速度
遅い処理(データ交換処理)を高速化✓
速くできる処理(大量データの計算)を最適化✓
✓
実装コスト
低いほど効率的✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
実装コストを下げる
共通で使いそうな機能をライブラリー化
メリットを受ける人たちみんなで協力して開発✓
最適化もがんばる✓
✓
Apache Arrowの実装コストは下がらない
Apache Arrowを使うツールの実装コストが下がる
実装コストが下がる:ツール開発者のメリット
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
共通で使いそうな機能
高速なデータフォーマット✓
フォーマット変換機能✓
効率的なデータ交換処理✓
高速なデータ処理ロジック✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
実装コストのまとめ
速度✓
実装コスト
共通で使いそうな機能をライブラリー化✓
みんなで協力して開発✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowが扱えるデータ
表・データフレーム✓
多次元配列✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
表・データフレーム
行と列で管理する2次元データ
RDBMSでいう表
すべての行は同じ列を持つ✓
各列は異なる型にできる✓
すべての型でnullをサポート✓
✓
2次元配列との違い
2次元配列はすべての値が同じ型✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:真偽値・数値
真偽値(1ビット)✓
整数({8,16,32,64}ビット{非負,}整数)✓
浮動小数点数({16,32,64}ビット)✓
128ビット小数✓
リトルエンディアンのみ対応
ビッグエンディアンに対応させようという動きもある:ARROW-3476
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
真偽値・数値:データの配置
固定長データなので連続して配置
32ビット整数:[1, 2, 3]
0x01 0x00 0x00 0x00 0x02 0x00 0x00 0x00 0x03 ...
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:文字列・バイト列
UTF-8文字列✓
バイナリーデータ({可変,固定}長)✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
文字列・バイト列:データの配置
実データバイト列+長さ配列に配置
UTF-8文字列:["Hello", "", "!"]
実データバイト列:"Hello!"
長さ配列:[0, 5, 5, 6]
i番目の長さ:長さ配列[i+1] - 長さ配列[i]
i番目のデータ:
実データバイト列[長さ配列[i]..長さ配列[i+1]]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:日付・タイムスタンプ
日付
UNIXエポックからの経過日数(32bit)✓
UNIXエポックからの経過ミリ秒数(64bit)✓
✓
タイムスタンプ(64ビット整数)
UNIXエポックからの経過{,ミリ}秒数✓
UNIXエポックからの経過{マイクロ,ナノ}秒数✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:時間
時間
深夜0時からの経過{,ミリ}秒数
(32bit整数)
✓
深夜0時からの経過{マイクロ,ナノ}秒数
(64bit整数)
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:リスト
0個以上の同じ型の値を持つ✓
例:32ビット整数のリスト
0要素:[]✓
2要素:[2, 3]✓
型が違う:[1, "X"]✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
リスト:データの配置
実データの配列+長さ配列に配置
32bit整数:[[1, 2], null, [3]]
実データの配列:[1, 2, 3]
長さ配列:[0, 2, 2, 3]
i番目の長さ:長さ配列[i+1] - 長さ配列[i]
i番目のデータ:
実データの配列[長さ配列[i]..長さ配列[i+1]]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:構造体
1個以上のフィールドを持つ✓
各フィールドは別の型にできる✓
例:aは32ビット整数、bはUTF-8文字列
全部ある:{a: 1, b: "X"}✓
nullもOK:{a: 1, b: null}✓
bがない:{a: 1}✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
構造体:データの配置
フィールド分のデータを個別に持つ
[{a : 1, b: "X"}, {a: 2, b: null}]
a:[1, 2]
b:["X", null]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:{疎,密}共用体
1個以上のフィールドを持つ✓
各フィールドは別の型にできる✓
どれかひとつのフィールドの値のみ設定✓
例:aは32ビット整数、bはUTF-8文字列
aだけある:{a: 1}✓
2つある:{a: 1, b: "X"}✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
疎共用体:データの配置
フィールドと整数を対応付ける配列を持つ
どのフィールドを使うか配列を持つ
フィールド分のデータを個別に持つ
各データはすべての要素を持つ
[{a : 1}, {b: "X"}, {b: "Y"}]
フィールドID配列:[2, 9] aは2、bは9
使用フィールド配列:[2, 9, 9]
a:[1, null, null]
b:[null, "X", "Y"]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
密共用体:データの配置
フィールドと整数を対応付ける配列を持つ
どのフィールドを使うか配列を持つ
フィールド分のデータを個別に持つ
各データは必要な要素だけを持つ
各データの何番目の要素を使うか配列を持つ
[{a : 1}, {b: "X"}, {b: "Y"}]
フィールドID配列:[2, 9] aは2、bは9
使用フィールド配列:[2, 9, 9]
要素オフセット配列:[0, 0, 1] a[0], b[0], b[1]
a:[1]
b:["X", "Y"]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
扱える型:辞書
名義尺度なカテゴリーデータ
(統計っぽい説明)
✓
各値にIDを割り当て、そのIDで値を表現
(実装よりの説明)
✓
例:["X","X","Y"]を辞書型の列にした場合
値:[0, 0, 1]✓
IDの割り当て:{"X": 0, "Y": 1}✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
辞書:データの配置
データの配列と何番目のデータを使うかの配列を持つ
["X", "X", "Y"]
データ配列:["X", "Y"]
インデックス配列:[0, 0, 1]
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
表・データフレームのまとめ
表・データフレーム
2次元データ✓
各列は異なる型にできる✓
型はたくさんある✓
✓
多次元配列✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
多次元配列
n次元のデータを扱う✓
要素はすべて同じ型✓
型は整数・浮動小数点数のみ✓
密・疎ともに対応
疎は対応中:ARROW-854 [Format] Support sparse tensor
✓
詳細は村田さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
多次元配列のまとめ
データフレーム✓
多次元配列
n次元データ✓
すべての要素は同じ型の値✓
型は整数・浮動小数点数のみ✓
疎・密両方サポート✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowが提供する機能
高速なデータフォーマット✓
フォーマット変換機能✓
効率的なデータ交換処理✓
高速なデータ処理ロジック✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
フォーマット変換機能
Apache Arrowフォーマット
インメモリー用のフォーマット✓
永続化向きではない✓
✓
永続化されたデータを使う場合
永続化に適したフォーマットで保存✓
読み込み時にApache Arrowに変換して
インメモリーでの処理にApache Arrowを使う
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応フォーマット:CSV
よく使われているフォーマット✓
亜種が多くてパースが大変✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応フォーマット:Apache Parquet
永続化用フォーマット
列単位でデータ保存:Apache Arrowと相性がよい✓
✓
小さい
列単位の圧縮をサポート✓
✓
速い
必要な部分のみ読み込める(I/Oが減る)✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応フォーマット:Apache ORC
永続化用フォーマット
列単位でデータ保存:Apache Arrowと相性がよい✓
Apache Parquetに似ている✓
✓
Apache Hive用に開発
今はHadoopやSparkでも使える✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応フォーマット:Feather
永続化用フォーマット
列単位でデータ保存:Apache Arrowと相性がよい✓
データフレームを保存✓
✓
PythonとR間のデータ交換用✓
今は非推奨!
Apache Arrowを使ってね✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応中フォーマット:JSON
よく使われているフォーマット✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応中フォーマット:Apache Avro
RPCフレームワーク
データフォーマットも提供✓
✓
永続化にも使えるフォーマット✓
ARROW-1209
ちょっと止まっている✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
非公式対応フォーマット:MDS
Multiple-Dimension-Spread
紹介スライド✓
スキーマレスなカラムナーフォーマット✓
Yahoo! Japan開発✓
✓
詳細は井島さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
フォーマット変換機能まとめ
高速なデータフォーマット✓
フォーマット変換機能
永続化データを処理するために必要✓
✓
効率的なデータ交換処理✓
高速なデータ処理ロジック✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
効率的なデータ交換処理
Plasma
同一ホスト上のプロセス間でのデータ共有✓
✓
Apache Arrow Flight
Apache ArrowベースのRPC✓
✓
DB連携
各種DBのレスポンスをApache Arrowに変換✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Plasma
同一ホストでのデータ共有システム
サーバー:データ管理✓
クライアント:データ登録・参照✓
✓
Apache Arrowフォーマットは使っていない
任意のバイト列を共有✓
✓
ユースケース:マルチプロセス連携
もともとRay(分散計算システム)用に開発✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrow Flight
Apache ArrowベースのRPCフレームワーク
クライント:リクエストデータフレームを送信✓
サーバー:レスポンスデータフレームを返信✓
✓
gRPCベース✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
DB連携
DBのレスポンスをApache Arrowに変換✓
対応済み
Apache Hive, Apache Impala✓
✓
対応予定
MySQL/MariaDB, PostgreSQL, SQLite
MySQLは畑中さんの話の中にPoCが!
✓
SQL Server, ClickHouse✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
効率的なデータ交換処理のまとめ
高速なデータフォーマット✓
フォーマット変換機能✓
効率的なデータ交換処理
同一ホスト内での高速なデータ交換✓
異なるホスト間での高速なデータフレーム交換✓
DBのレスポンスをApache Arrowに変換✓
✓
高速なデータ処理ロジック✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
高速なデータ処理ロジック
高速なデータフレーム処理
CPU:コンパイラーの最適化でベクトル化✓
GPU:RAPIDSがcuDFを開発✓
✓
高速なクエリー処理エンジン
Gandiva✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Gandiva
SQLレベルのクエリーの実行エンジン
四則演算だけではない✓
集計・フィルター・結合などもカバー
GROUP BY, WHERE, JOIN
✓
✓
実行時に最適化✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Gandiva:実行時に最適化
クエリーを解析して最適化
不要な処理を削除・処理順番を入れ替え
Gandivaでやるようになるんじゃないかな
✓
✓
クエリーをJITコンパイルして実行
インタプリターが実行、ではない✓
最適化済みネイティブコードにして実行
実行環境のCPUに合わせてベクトル化とか
✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
高速なデータ処理ロジックのまとめ
高速なデータフォーマット✓
フォーマット変換機能✓
効率的なデータ交換処理✓
高速なデータ処理ロジック
CPUでもGPUでも最適化✓
クエリーレベルの高速な実行エンジン✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応言語
C, C#, C++, Go, Java, JavaScript, Lua✓
MATLAB, Python, R, Ruby, Rust✓
非公式実装:
Julia (Arrow.jl)✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
実装方法
ネイティブ実装
C#, C++, Go, Java, JavaScript, Julia, Rust✓
その言語になじむ✓
✓
C++バインディング
C, Lua, MATLAB, Python, R, Ruby✓
ホスト言語が遅めでも速い実装になる✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
C#の実装状況
未対応の型
16bit浮動小数点数・小数・構造体・共用体・辞書✓
✓
多次元配列未対応✓
計算未対応✓
Plasma・Flight未対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
C++の実装状況
すべて実装済み
一番実装が進む✓
C++実装のバインディングとして
開発する言語があるため開発者が多い
✓
✓
Apache Parquet実装も取り込んだ✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Goの実装状況
未対応の型
16ビット浮動小数点数・小数・共用体✓
✓
計算対応(Gandivaは未対応)✓
フォーマット変換はCSVのみ対応✓
Plasma・Flight未対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Javaの実装状況
未対応の型
16ビット浮動小数点数✓
✓
多次元配列未対応✓
計算対応(Gandivaも対応)✓
フォーマット変換未対応✓
JDBCを使ったDB連携対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
JavaScriptの実装状況
TypeScript実装
Webブラウザー上でもNode.js上でも動く✓
✓
多次元配列未対応✓
計算対応(Gandivaは未対応)✓
フォーマット変換未対応✓
Plasma・Flight未対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Juliaの実装状況
未対応の型
16bit浮動小数点数・小数・構造体・共用体✓
✓
多次元配列未対応✓
計算未対応✓
フォーマット変換未対応✓
Plasma・Flight未対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Rustの実装状況
未対応の型
小数・バイナリーデータ・共用体・辞書✓
✓
計算対応(Gandivaは未対応)✓
フォーマット変換はCSV・Parquet対応✓
Plasma・Flight未対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
C・Lua・Rubyの実装状況
C++バインディング✓
計算対応(Gandivaも対応)✓
Plasma対応・Flight未対応✓
Ruby関連は畑中さん・橋立さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
MATLABの実装状況
C++バインディング✓
Featherの読み込みのみ対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Pythonの実装状況
C++バインディング✓
pandas・NumPy相互変換対応✓
計算対応(Gandivaも対応)✓
Plasma対応・Flight未対応✓
Python関連は堀越さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Rの実装状況
C++バインディング✓
未対応の型:小数・共用体✓
計算対応(Gandivaは未対応)✓
フォーマット変換はFeatherのみ対応✓
Plasma・Flight未対応✓
R関連は湯谷さんの話で!✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
対応言語まとめ
基本的な型はすべての言語で対応済み
すでにデータ交換用途に使える✓
✓
データの高速な計算は一部言語で対応✓
フォーマット変換も各言語の対応は様々✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
Apache Arrowの今後案
Thoughts about 2019 Arrow development focus areas
クラウドストレージ対応✓
データセット対応✓
プッシュダウン対応✓
演算グラフ対応強化✓
計算結果のキャッシュ用途対応✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
クラウドストレージ対応
クラウドストレージ
Amazon S3、Google Cloud Storageとか✓
HDFS(Hadoop File System)は対応済み✓
✓
ストレージ上のデータの読み書きを簡単に✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データセット対応
データセット
複数ファイルに分かれたデータ群✓
✓
データセットの読み書きを簡単に✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
データセット例
a_1/0.parquet # a=1のデータのみ
a_1/1.parquet # a=1のデータのみ
a_2/2.parquet # a=2のデータのみ
a_3/3.parquet # a=3のデータのみ
a_3/4.parquet # a=3のデータのみ
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
プッシュダウン対応
下位レイヤーに情報を渡して
不要な処理をごっそりすっ飛ばす
例:必要な部分のみファイルから読む✓
✓
データベースはよくやっている
MySQL/PostgreSQLもやっている✓
✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
プッシュダウン例
WHERE a = 1のとき
a_1/0.parquet # 読む
a_1/1.parquet # 読む
a_2/2.parquet # 読まない
a_3/3.parquet # 読まない
a_3/4.parquet # 読まない
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
演算グラフ対応強化
演算グラフ
SQLのSELECTでできるような処理をグラフで表現✓
Gandivaがすでに作っている✓
✓
Ibisやdplyrぐらいリッチにする✓
演算グラフのシリアライズ対応✓
実行をもっと速く✓
Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2
まとめ
Apache Arrowが言語を超えて実現すること
データ交換・データ処理の高速化✓
実装の共有(共同開発・ライブラリー化)✓
✓
Apache Arrowを使いたくなった人は
Apache Arrowの開発にも参加しよう!
✓

More Related Content

What's hot

高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装MITSUNARI Shigeo
 
Pythonによる黒魔術入門
Pythonによる黒魔術入門Pythonによる黒魔術入門
Pythonによる黒魔術入門大樹 小倉
 
Googleの新しい検索技術 Knowledge Graphについて
Googleの新しい検索技術 Knowledge GraphについてGoogleの新しい検索技術 Knowledge Graphについて
Googleの新しい検索技術 Knowledge Graphについてmaruyama097
 
RSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjpRSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjpsonickun
 
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみたグラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみたCData Software Japan
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門Fixstars Corporation
 
Pcapngを読んでみる
Pcapngを読んでみるPcapngを読んでみる
Pcapngを読んでみるYagi Shinnosuke
 
暗号技術の実装と数学
暗号技術の実装と数学暗号技術の実装と数学
暗号技術の実装と数学MITSUNARI Shigeo
 
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料) 40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料) hamaken
 
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?Teppei Sato
 
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」Ken'ichi Matsui
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理NTT DATA Technology & Innovation
 
OpenAI FineTuning を試してみる
OpenAI FineTuning を試してみるOpenAI FineTuning を試してみる
OpenAI FineTuning を試してみるiPride Co., Ltd.
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてcyberagent
 
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~NTT DATA OSS Professional Services
 
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装Ryuichi Sakamoto
 
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話Kentaro Yoshida
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)NTT DATA Technology & Innovation
 
DockerコンテナでGitを使う
DockerコンテナでGitを使うDockerコンテナでGitを使う
DockerコンテナでGitを使うKazuhiro Suga
 

What's hot (20)

高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装
 
Pythonによる黒魔術入門
Pythonによる黒魔術入門Pythonによる黒魔術入門
Pythonによる黒魔術入門
 
Googleの新しい検索技術 Knowledge Graphについて
Googleの新しい検索技術 Knowledge GraphについてGoogleの新しい検索技術 Knowledge Graphについて
Googleの新しい検索技術 Knowledge Graphについて
 
RSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjpRSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjp
 
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみたグラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
 
ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門
 
Pcapngを読んでみる
Pcapngを読んでみるPcapngを読んでみる
Pcapngを読んでみる
 
暗号技術の実装と数学
暗号技術の実装と数学暗号技術の実装と数学
暗号技術の実装と数学
 
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料) 40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
 
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
 
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
 
OpenAI FineTuning を試してみる
OpenAI FineTuning を試してみるOpenAI FineTuning を試してみる
OpenAI FineTuning を試してみる
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
 
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
 
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
 
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
 
DockerコンテナでGitを使う
DockerコンテナでGitを使うDockerコンテナでGitを使う
DockerコンテナでGitを使う
 

Similar to Apache Arrow

Apache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataApache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataKouhei Sutou
 
Apache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataApache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataKouhei Sutou
 
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Kouhei Sutou
 
AWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターンAWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターンseiichi arai
 
Apache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでApache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでKouhei Sutou
 
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話AWSが誕生するまでの秘話
AWSが誕生するまでの秘話Yasuhiro Horiuchi
 
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギインメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギMasaki Yamakawa
 
20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会Takahiro Iwase
 
20120405 setsunaセミナー
20120405 setsunaセミナー20120405 setsunaセミナー
20120405 setsunaセミナーTakahiro Iwase
 
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~Serverworks Co.,Ltd.
 
クラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccampクラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccampMasahiro NAKAYAMA
 
NetBackup AIR CLI
NetBackup AIR CLINetBackup AIR CLI
NetBackup AIR CLIvxsejapan
 
Hadoop conferencejapan2011
Hadoop conferencejapan2011Hadoop conferencejapan2011
Hadoop conferencejapan2011Ichiro Fukuda
 
Kerasで深層学習を実践する
Kerasで深層学習を実践するKerasで深層学習を実践する
Kerasで深層学習を実践するKazuaki Tanida
 
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~natsumo
 

Similar to Apache Arrow (20)

Apache Arrow
Apache ArrowApache Arrow
Apache Arrow
 
Apache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory dataApache Arrow - A cross-language development platform for in-memory data
Apache Arrow - A cross-language development platform for in-memory data
 
Red Data Tools
Red Data ToolsRed Data Tools
Red Data Tools
 
Apache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory dataApache Arrow 1.0 - A cross-language development platform for in-memory data
Apache Arrow 1.0 - A cross-language development platform for in-memory data
 
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
 
AWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターンAWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターン
 
Apache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject IntrospectionでApache ArrowのRubyバインディングをGObject Introspectionで
Apache ArrowのRubyバインディングをGObject Introspectionで
 
Apache Arrow 2019
Apache Arrow 2019Apache Arrow 2019
Apache Arrow 2019
 
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話AWSが誕生するまでの秘話
AWSが誕生するまでの秘話
 
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギインメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギ
 
20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会
 
20120405 setsunaセミナー
20120405 setsunaセミナー20120405 setsunaセミナー
20120405 setsunaセミナー
 
Heroku Postgres
Heroku PostgresHeroku Postgres
Heroku Postgres
 
Heroku Postgres
Heroku PostgresHeroku Postgres
Heroku Postgres
 
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
 
クラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccampクラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccamp
 
NetBackup AIR CLI
NetBackup AIR CLINetBackup AIR CLI
NetBackup AIR CLI
 
Hadoop conferencejapan2011
Hadoop conferencejapan2011Hadoop conferencejapan2011
Hadoop conferencejapan2011
 
Kerasで深層学習を実践する
Kerasで深層学習を実践するKerasで深層学習を実践する
Kerasで深層学習を実践する
 
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~
【IoT入門】スマホで加速度と位置情報を取得してクラウドに保存しよう!~ハンズオン資料②~
 

More from Kouhei Sutou

RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow
RubyKaigi 2022 - Fast data processing with Ruby and Apache ArrowRubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow
RubyKaigi 2022 - Fast data processing with Ruby and Apache ArrowKouhei Sutou
 
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowRubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowKouhei Sutou
 
Rubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアRubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアKouhei Sutou
 
Apache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかApache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかKouhei Sutou
 
Redmine検索の未来像
Redmine検索の未来像Redmine検索の未来像
Redmine検索の未来像Kouhei Sutou
 
Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Kouhei Sutou
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムKouhei Sutou
 
MySQL 8.0でMroonga
MySQL 8.0でMroongaMySQL 8.0でMroonga
MySQL 8.0でMroongaKouhei Sutou
 
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Kouhei Sutou
 
MariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムMariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムKouhei Sutou
 
PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!Kouhei Sutou
 
PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版Kouhei Sutou
 
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システムPostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システムKouhei Sutou
 
Improve extension API: C++ as better language for extension
Improve extension API: C++ as better language for extensionImprove extension API: C++ as better language for extension
Improve extension API: C++ as better language for extensionKouhei Sutou
 
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システムMySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システムKouhei Sutou
 
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!Kouhei Sutou
 
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナー
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナーMySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナー
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナーKouhei Sutou
 
PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!
 PHPでPostgreSQLとPGroongaを使って高速日本語全文検索! PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!
PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!Kouhei Sutou
 

More from Kouhei Sutou (20)

RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow
RubyKaigi 2022 - Fast data processing with Ruby and Apache ArrowRubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow
RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow
 
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache ArrowRubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
RubyKaigi Takeout 2021 - Red Arrow - Ruby and Apache Arrow
 
Rubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェアRubyと仕事と自由なソフトウェア
Rubyと仕事と自由なソフトウェア
 
Apache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのかApache Arrowフォーマットはなぜ速いのか
Apache Arrowフォーマットはなぜ速いのか
 
Redmine検索の未来像
Redmine検索の未来像Redmine検索の未来像
Redmine検索の未来像
 
Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6Better CSV processing with Ruby 2.6
Better CSV processing with Ruby 2.6
 
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システムMySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
 
MySQL 8.0でMroonga
MySQL 8.0でMroongaMySQL 8.0でMroonga
MySQL 8.0でMroonga
 
My way with Ruby
My way with RubyMy way with Ruby
My way with Ruby
 
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
Mroongaの高速全文検索機能でWordPress内のコンテンツを有効活用!
 
MariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システムMariaDBとMroongaで作る全言語対応超高速全文検索システム
MariaDBとMroongaで作る全言語対応超高速全文検索システム
 
PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!PGroonga 2 – Make PostgreSQL rich full text search system backend!
PGroonga 2 – Make PostgreSQL rich full text search system backend!
 
PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版PGroonga 2 - PostgreSQLでの全文検索の決定版
PGroonga 2 - PostgreSQLでの全文検索の決定版
 
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システムPostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム
PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム
 
Improve extension API: C++ as better language for extension
Improve extension API: C++ as better language for extensionImprove extension API: C++ as better language for extension
Improve extension API: C++ as better language for extension
 
PGroonga & Zulip
PGroonga & ZulipPGroonga & Zulip
PGroonga & Zulip
 
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システムMySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
 
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
 
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナー
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナーMySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナー
MySQL・PostgreSQL上で動かす全文検索エンジン「Groonga」セミナー
 
PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!
 PHPでPostgreSQLとPGroongaを使って高速日本語全文検索! PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!
PHPでPostgreSQLとPGroongaを使って高速日本語全文検索!
 

Recently uploaded

Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価sugiuralab
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールsugiuralab
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

Recently uploaded (7)

Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 

Apache Arrow

  • 1. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrow #ArrowTokyo 須藤功平 株式会社クリアコード Apache Arrow東京ミートアップ2018 2018-12-08
  • 2. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 自己紹介:名前 須藤功平(すとうこうへい) 「と」はにごらない! ✓ よく使うアカウント名:kou KOUhei ↑を使えないときのアカウント名:ktou Kouhei suTOU ✓ ✓
  • 3. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 自己紹介:プログラミング Rubyが好き 2004-01からコミッター✓ 130くらいのライブラリーをメンテナンス 詳細はRubyKaigi 2018でのキーノートを参照 ✓ Rubyでプレゼンツールも作っている(このツール)✓ ✓ C/C++を書いている時間も結構ある✓
  • 4. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 自己紹介:C/C++を書く理由 RubyでC/C++のライブラリーを使うため! Rubyを書くためにC/C++を書く ✓ Apache ArrowをC++で開発しているのもそう テストはRubyで書いている✓ ✓
  • 5. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 自己紹介:Apache Arrowの開発 2016-12-21に最初のコミット✓ 2017-03-16にGLibバインディングを寄贈✓ 2017-05-10にコミッター✓ 2017-09-15にPMCメンバー✓ 2018-12-06現在コミット数3位(224人中)✓
  • 6. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 自己紹介:仕事 株式会社クリアコードの代表取締役 自由なソフトウェアでビジネスをする会社 自由なソフトウェア:OSSが参考にしたやつ ✓ ✓ 私の最近の業務内容 自由なソフトウェアの推進 例:SpeeeさんがOSSを開発することをサポート✓ ✓ データ処理ツールの開発事業立ち上げ(New!)✓ ✓
  • 7. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ処理ツールの開発事業 データ分析をする事業じゃない✓ データ分析をする人たちが使うツールを 開発する事業 Apache Arrowはそのために有用なツール Apache Arrowの開発に参加し始めたのはRubyで使いたかったから 事業立ち上げのためにApache Arrowの開発に参加し始めたわけではない Apache Arrowの開発に参加していたら面白そうと思えてきた ✓ 募集:開発して欲しい・開発したい(転職したい)✓ ✓
  • 8. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrow 各種言語で使える インメモリー データ処理 プラットフォーム
  • 9. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 実現すること データ処理の効率化 (大量データが対象)
  • 10. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 効率化のポイント 速度 速いほど効率的✓ ✓ 実装コスト 低いほど効率的✓ ✓
  • 11. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 速度向上方法 遅い部分を速く✓ 高速化できる部分を最適化✓
  • 12. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 遅い部分 データ交換
  • 13. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ交換 データ処理ツール間で必要✓ データ処理システム 複数ツールを組み合わせて実現✓ データ処理システムではデータ交換が必須✓ ✓
  • 14. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ処理システム例 データ交換 データ収集 ツール データ前処理 ツール 分析 ツール 可視化 ツール
  • 15. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ交換処理 シリアライズ データをバイト列へ変換 1. 転送 バイト列を別ツールに渡す 2. デシリアライズ バイト列からデータを復元 3.
  • 16. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ交換処理:必要なリソース シリアライズ:CPU1. 転送:I/O(ネットワーク・ストレージ・メモリー)2. デシリアライズ:CPU3.
  • 17. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Ruby+JSONでデータ交換 # 1000要素の数値配列 n = 1000 numbers = n.times.collect {rand} # シリアライズ JSON.dump(numbers, output) # デシリアライズ JSON.load(input)
  • 18. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Ruby+JSONの速度の傾向 n シリアライズ デシリアライズ 1000 0.011秒 0.004秒 10000 0.093秒 0.037秒 100000 0.798秒 0.369秒 注:ストレージI/Oなしで計測 データ量の増加と同じくらいの比率で遅くなる
  • 19. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データ交換の高速化 データ量が増加すると シリアライズ・デシリアライズ速度が劣化 ✓ 速度劣化を抑えられれば高速化可能✓
  • 20. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowのアプローチ データフォーマットを定義 シリアライズ・デシリアライズが速い✓ データ量増加に影響を受けにくい✓ ✓ このフォーマットの普及 各種言語で読み書き処理を実装✓ ✓
  • 21. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Ruby+Apache Arrowでデータ交換 # 1000要素の数値配列 n = 1000 numbers = Arrow::Int32Array.new(n.times.collect {rand}) table = Arrow::Table.new("number" => numbers) # シリアライズ table.save(output) # デシリアライズ Arrow::Table.load(input)
  • 22. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Ruby+Apache Arrowの速度の傾向 n シリアライズ デシリアライズ 1000 0.0003秒 0.0004秒 10000 0.0004秒 0.0004秒 100000 0.0015秒 0.0004秒 注:ストレージI/Oなしで計測 全体的に速い+デシリアライズ速度が一定
  • 23. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Sparkでの高速化事例 Spark⇔PySpark間でデータ交換 従来:pickleでシリアライズ pickle:Python標準のシリアライズ方法 ✓ Apache Arrowを使うことで数十倍レベルの高速化✓ Spark⇔sparkylyrも同様✓ ✓ 詳細は上新さんの話で!✓
  • 24. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowフォーマットの特徴 メモリー上でのフォーマットを変換しない JSONは「数値」を「数字」に変換✓ 例:29(1バイト整数)→"29"(2バイト文字列)✓ ✓ シリアライズ時:変換不要✓ デシリアライズ時:パース不要✓
  • 25. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 メモリーマップの活用 メモリーマップ機能 ファイルの内容をメモリー上のデータのように アクセスできる機能 ✓ readせずにデータを使える(データコピー不要)✓ ✓ パース不要+メモリーマップ デシリアライズ時にメモリー確保不要✓ 「転送」コスト削減✓ ✓
  • 26. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 遅い部分の高速化まとめ 遅い部分を速く データ交換を速く✓ ✓ 高速化できる部分を最適化✓
  • 27. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 高速化できる部分 大量データの計算
  • 28. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 大量データの計算の高速化 各データの計算を高速化✓ まとまったデータの計算を高速化✓
  • 29. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 各データの計算の高速化 データを局所化 CPUのキャッシュメモリーを活用できる✓ ✓ 局所化に必要な知識 データの使われ方✓ 局所化:一緒に使うデータを近くに置く✓ ✓
  • 30. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 想定ユースケース OLAP(OnLine Analytical Processing) データから探索的に知見を探し出すような処理✓ ✓ 列単位の処理が多い 集計処理・グループ化・ソート…✓ ✓
  • 31. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 OLAP向きのデータの持ち方 列行 a b c 1 2 3 値 値 値 値 値 値 値 値 値 列 行 a b c 1 2 3 値 値 値 値 値 値 値 値 値 Apache Arrow 列ごと RDBMS 列 行 値の管理単位 行ごと 高速なアクセス単位
  • 32. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 まとまったデータの計算を高速化 SIMDを活用 Single Instruction Multiple Data ✓ スレッドを活用✓
  • 33. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 SIMDを活用 CPU:データをまとめてアライン アライン:データの境界を64の倍数とかに揃える ✓ GPUの活用✓ 条件分岐をなくす null/NA用の値は用意せずビットマップで表現 Is it time to stop using sentinel values for null / NA values? ✓ ✓
  • 34. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 条件分岐とnull null t f t data 1 X 3 f t t X 2 5 +[1, null, 3] [null, 2, 5] f f t X X 8 [null, null, 8] ビット単位の& nullのところも 気にせずSIMDで+ null data
  • 35. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 スレッド活用時のポイント 競合リソースを作らない リソースロックのオーバーヘッドで遅くなりがち✓ ✓ アプローチ リソースを参照するだけ✓ 各スレッドにコピー✓ ✓
  • 36. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowとスレッド データはリードオンリー スレッド間でオーバーヘッドなしで共有可能✓ ✓ データコピーは極力避けたい データ交換時もスレッド活用時も✓ ✓
  • 37. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 高速化のまとめ 速度 遅い処理(データ交換処理)を高速化✓ 速くできる処理(大量データの計算)を最適化✓ ✓ 実装コスト 低いほど効率的✓ ✓
  • 38. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 実装コストを下げる 共通で使いそうな機能をライブラリー化 メリットを受ける人たちみんなで協力して開発✓ 最適化もがんばる✓ ✓ Apache Arrowの実装コストは下がらない Apache Arrowを使うツールの実装コストが下がる 実装コストが下がる:ツール開発者のメリット ✓ ✓
  • 39. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 共通で使いそうな機能 高速なデータフォーマット✓ フォーマット変換機能✓ 効率的なデータ交換処理✓ 高速なデータ処理ロジック✓
  • 40. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 実装コストのまとめ 速度✓ 実装コスト 共通で使いそうな機能をライブラリー化✓ みんなで協力して開発✓ ✓
  • 41. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowが扱えるデータ 表・データフレーム✓ 多次元配列✓
  • 42. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 表・データフレーム 行と列で管理する2次元データ RDBMSでいう表 すべての行は同じ列を持つ✓ 各列は異なる型にできる✓ すべての型でnullをサポート✓ ✓ 2次元配列との違い 2次元配列はすべての値が同じ型✓ ✓
  • 43. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:真偽値・数値 真偽値(1ビット)✓ 整数({8,16,32,64}ビット{非負,}整数)✓ 浮動小数点数({16,32,64}ビット)✓ 128ビット小数✓ リトルエンディアンのみ対応 ビッグエンディアンに対応させようという動きもある:ARROW-3476
  • 44. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 真偽値・数値:データの配置 固定長データなので連続して配置 32ビット整数:[1, 2, 3] 0x01 0x00 0x00 0x00 0x02 0x00 0x00 0x00 0x03 ...
  • 45. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:文字列・バイト列 UTF-8文字列✓ バイナリーデータ({可変,固定}長)✓
  • 46. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 文字列・バイト列:データの配置 実データバイト列+長さ配列に配置 UTF-8文字列:["Hello", "", "!"] 実データバイト列:"Hello!" 長さ配列:[0, 5, 5, 6] i番目の長さ:長さ配列[i+1] - 長さ配列[i] i番目のデータ: 実データバイト列[長さ配列[i]..長さ配列[i+1]]
  • 47. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:日付・タイムスタンプ 日付 UNIXエポックからの経過日数(32bit)✓ UNIXエポックからの経過ミリ秒数(64bit)✓ ✓ タイムスタンプ(64ビット整数) UNIXエポックからの経過{,ミリ}秒数✓ UNIXエポックからの経過{マイクロ,ナノ}秒数✓ ✓
  • 48. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:時間 時間 深夜0時からの経過{,ミリ}秒数 (32bit整数) ✓ 深夜0時からの経過{マイクロ,ナノ}秒数 (64bit整数) ✓ ✓
  • 49. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:リスト 0個以上の同じ型の値を持つ✓ 例:32ビット整数のリスト 0要素:[]✓ 2要素:[2, 3]✓ 型が違う:[1, "X"]✓ ✓
  • 50. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 リスト:データの配置 実データの配列+長さ配列に配置 32bit整数:[[1, 2], null, [3]] 実データの配列:[1, 2, 3] 長さ配列:[0, 2, 2, 3] i番目の長さ:長さ配列[i+1] - 長さ配列[i] i番目のデータ: 実データの配列[長さ配列[i]..長さ配列[i+1]]
  • 51. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:構造体 1個以上のフィールドを持つ✓ 各フィールドは別の型にできる✓ 例:aは32ビット整数、bはUTF-8文字列 全部ある:{a: 1, b: "X"}✓ nullもOK:{a: 1, b: null}✓ bがない:{a: 1}✓ ✓
  • 52. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 構造体:データの配置 フィールド分のデータを個別に持つ [{a : 1, b: "X"}, {a: 2, b: null}] a:[1, 2] b:["X", null]
  • 53. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:{疎,密}共用体 1個以上のフィールドを持つ✓ 各フィールドは別の型にできる✓ どれかひとつのフィールドの値のみ設定✓ 例:aは32ビット整数、bはUTF-8文字列 aだけある:{a: 1}✓ 2つある:{a: 1, b: "X"}✓ ✓
  • 54. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 疎共用体:データの配置 フィールドと整数を対応付ける配列を持つ どのフィールドを使うか配列を持つ フィールド分のデータを個別に持つ 各データはすべての要素を持つ [{a : 1}, {b: "X"}, {b: "Y"}] フィールドID配列:[2, 9] aは2、bは9 使用フィールド配列:[2, 9, 9] a:[1, null, null] b:[null, "X", "Y"]
  • 55. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 密共用体:データの配置 フィールドと整数を対応付ける配列を持つ どのフィールドを使うか配列を持つ フィールド分のデータを個別に持つ 各データは必要な要素だけを持つ 各データの何番目の要素を使うか配列を持つ [{a : 1}, {b: "X"}, {b: "Y"}] フィールドID配列:[2, 9] aは2、bは9 使用フィールド配列:[2, 9, 9] 要素オフセット配列:[0, 0, 1] a[0], b[0], b[1] a:[1] b:["X", "Y"]
  • 56. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 扱える型:辞書 名義尺度なカテゴリーデータ (統計っぽい説明) ✓ 各値にIDを割り当て、そのIDで値を表現 (実装よりの説明) ✓ 例:["X","X","Y"]を辞書型の列にした場合 値:[0, 0, 1]✓ IDの割り当て:{"X": 0, "Y": 1}✓ ✓
  • 57. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 辞書:データの配置 データの配列と何番目のデータを使うかの配列を持つ ["X", "X", "Y"] データ配列:["X", "Y"] インデックス配列:[0, 0, 1]
  • 58. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 表・データフレームのまとめ 表・データフレーム 2次元データ✓ 各列は異なる型にできる✓ 型はたくさんある✓ ✓ 多次元配列✓
  • 59. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 多次元配列 n次元のデータを扱う✓ 要素はすべて同じ型✓ 型は整数・浮動小数点数のみ✓ 密・疎ともに対応 疎は対応中:ARROW-854 [Format] Support sparse tensor ✓ 詳細は村田さんの話で!✓
  • 60. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 多次元配列のまとめ データフレーム✓ 多次元配列 n次元データ✓ すべての要素は同じ型の値✓ 型は整数・浮動小数点数のみ✓ 疎・密両方サポート✓ ✓
  • 61. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowが提供する機能 高速なデータフォーマット✓ フォーマット変換機能✓ 効率的なデータ交換処理✓ 高速なデータ処理ロジック✓
  • 62. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 フォーマット変換機能 Apache Arrowフォーマット インメモリー用のフォーマット✓ 永続化向きではない✓ ✓ 永続化されたデータを使う場合 永続化に適したフォーマットで保存✓ 読み込み時にApache Arrowに変換して インメモリーでの処理にApache Arrowを使う ✓ ✓
  • 63. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応フォーマット:CSV よく使われているフォーマット✓ 亜種が多くてパースが大変✓
  • 64. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応フォーマット:Apache Parquet 永続化用フォーマット 列単位でデータ保存:Apache Arrowと相性がよい✓ ✓ 小さい 列単位の圧縮をサポート✓ ✓ 速い 必要な部分のみ読み込める(I/Oが減る)✓ ✓
  • 65. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応フォーマット:Apache ORC 永続化用フォーマット 列単位でデータ保存:Apache Arrowと相性がよい✓ Apache Parquetに似ている✓ ✓ Apache Hive用に開発 今はHadoopやSparkでも使える✓ ✓
  • 66. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応フォーマット:Feather 永続化用フォーマット 列単位でデータ保存:Apache Arrowと相性がよい✓ データフレームを保存✓ ✓ PythonとR間のデータ交換用✓ 今は非推奨! Apache Arrowを使ってね✓ ✓
  • 67. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応中フォーマット:JSON よく使われているフォーマット✓
  • 68. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応中フォーマット:Apache Avro RPCフレームワーク データフォーマットも提供✓ ✓ 永続化にも使えるフォーマット✓ ARROW-1209 ちょっと止まっている✓ ✓
  • 69. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 非公式対応フォーマット:MDS Multiple-Dimension-Spread 紹介スライド✓ スキーマレスなカラムナーフォーマット✓ Yahoo! Japan開発✓ ✓ 詳細は井島さんの話で!✓
  • 70. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 フォーマット変換機能まとめ 高速なデータフォーマット✓ フォーマット変換機能 永続化データを処理するために必要✓ ✓ 効率的なデータ交換処理✓ 高速なデータ処理ロジック✓
  • 71. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 効率的なデータ交換処理 Plasma 同一ホスト上のプロセス間でのデータ共有✓ ✓ Apache Arrow Flight Apache ArrowベースのRPC✓ ✓ DB連携 各種DBのレスポンスをApache Arrowに変換✓ ✓
  • 72. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Plasma 同一ホストでのデータ共有システム サーバー:データ管理✓ クライアント:データ登録・参照✓ ✓ Apache Arrowフォーマットは使っていない 任意のバイト列を共有✓ ✓ ユースケース:マルチプロセス連携 もともとRay(分散計算システム)用に開発✓ ✓
  • 73. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrow Flight Apache ArrowベースのRPCフレームワーク クライント:リクエストデータフレームを送信✓ サーバー:レスポンスデータフレームを返信✓ ✓ gRPCベース✓
  • 74. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 DB連携 DBのレスポンスをApache Arrowに変換✓ 対応済み Apache Hive, Apache Impala✓ ✓ 対応予定 MySQL/MariaDB, PostgreSQL, SQLite MySQLは畑中さんの話の中にPoCが! ✓ SQL Server, ClickHouse✓ ✓
  • 75. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 効率的なデータ交換処理のまとめ 高速なデータフォーマット✓ フォーマット変換機能✓ 効率的なデータ交換処理 同一ホスト内での高速なデータ交換✓ 異なるホスト間での高速なデータフレーム交換✓ DBのレスポンスをApache Arrowに変換✓ ✓ 高速なデータ処理ロジック✓
  • 76. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 高速なデータ処理ロジック 高速なデータフレーム処理 CPU:コンパイラーの最適化でベクトル化✓ GPU:RAPIDSがcuDFを開発✓ ✓ 高速なクエリー処理エンジン Gandiva✓ ✓
  • 77. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Gandiva SQLレベルのクエリーの実行エンジン 四則演算だけではない✓ 集計・フィルター・結合などもカバー GROUP BY, WHERE, JOIN ✓ ✓ 実行時に最適化✓
  • 78. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Gandiva:実行時に最適化 クエリーを解析して最適化 不要な処理を削除・処理順番を入れ替え Gandivaでやるようになるんじゃないかな ✓ ✓ クエリーをJITコンパイルして実行 インタプリターが実行、ではない✓ 最適化済みネイティブコードにして実行 実行環境のCPUに合わせてベクトル化とか ✓ ✓
  • 79. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 高速なデータ処理ロジックのまとめ 高速なデータフォーマット✓ フォーマット変換機能✓ 効率的なデータ交換処理✓ 高速なデータ処理ロジック CPUでもGPUでも最適化✓ クエリーレベルの高速な実行エンジン✓ ✓
  • 80. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応言語 C, C#, C++, Go, Java, JavaScript, Lua✓ MATLAB, Python, R, Ruby, Rust✓ 非公式実装: Julia (Arrow.jl)✓
  • 81. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 実装方法 ネイティブ実装 C#, C++, Go, Java, JavaScript, Julia, Rust✓ その言語になじむ✓ ✓ C++バインディング C, Lua, MATLAB, Python, R, Ruby✓ ホスト言語が遅めでも速い実装になる✓ ✓
  • 82. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 C#の実装状況 未対応の型 16bit浮動小数点数・小数・構造体・共用体・辞書✓ ✓ 多次元配列未対応✓ 計算未対応✓ Plasma・Flight未対応✓
  • 83. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 C++の実装状況 すべて実装済み 一番実装が進む✓ C++実装のバインディングとして 開発する言語があるため開発者が多い ✓ ✓ Apache Parquet実装も取り込んだ✓
  • 84. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Goの実装状況 未対応の型 16ビット浮動小数点数・小数・共用体✓ ✓ 計算対応(Gandivaは未対応)✓ フォーマット変換はCSVのみ対応✓ Plasma・Flight未対応✓
  • 85. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Javaの実装状況 未対応の型 16ビット浮動小数点数✓ ✓ 多次元配列未対応✓ 計算対応(Gandivaも対応)✓ フォーマット変換未対応✓ JDBCを使ったDB連携対応✓
  • 86. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 JavaScriptの実装状況 TypeScript実装 Webブラウザー上でもNode.js上でも動く✓ ✓ 多次元配列未対応✓ 計算対応(Gandivaは未対応)✓ フォーマット変換未対応✓ Plasma・Flight未対応✓
  • 87. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Juliaの実装状況 未対応の型 16bit浮動小数点数・小数・構造体・共用体✓ ✓ 多次元配列未対応✓ 計算未対応✓ フォーマット変換未対応✓ Plasma・Flight未対応✓
  • 88. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Rustの実装状況 未対応の型 小数・バイナリーデータ・共用体・辞書✓ ✓ 計算対応(Gandivaは未対応)✓ フォーマット変換はCSV・Parquet対応✓ Plasma・Flight未対応✓
  • 89. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 C・Lua・Rubyの実装状況 C++バインディング✓ 計算対応(Gandivaも対応)✓ Plasma対応・Flight未対応✓ Ruby関連は畑中さん・橋立さんの話で!✓
  • 90. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 MATLABの実装状況 C++バインディング✓ Featherの読み込みのみ対応✓
  • 91. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Pythonの実装状況 C++バインディング✓ pandas・NumPy相互変換対応✓ 計算対応(Gandivaも対応)✓ Plasma対応・Flight未対応✓ Python関連は堀越さんの話で!✓
  • 92. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Rの実装状況 C++バインディング✓ 未対応の型:小数・共用体✓ 計算対応(Gandivaは未対応)✓ フォーマット変換はFeatherのみ対応✓ Plasma・Flight未対応✓ R関連は湯谷さんの話で!✓
  • 93. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 対応言語まとめ 基本的な型はすべての言語で対応済み すでにデータ交換用途に使える✓ ✓ データの高速な計算は一部言語で対応✓ フォーマット変換も各言語の対応は様々✓
  • 94. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 Apache Arrowの今後案 Thoughts about 2019 Arrow development focus areas クラウドストレージ対応✓ データセット対応✓ プッシュダウン対応✓ 演算グラフ対応強化✓ 計算結果のキャッシュ用途対応✓
  • 95. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 クラウドストレージ対応 クラウドストレージ Amazon S3、Google Cloud Storageとか✓ HDFS(Hadoop File System)は対応済み✓ ✓ ストレージ上のデータの読み書きを簡単に✓
  • 96. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データセット対応 データセット 複数ファイルに分かれたデータ群✓ ✓ データセットの読み書きを簡単に✓
  • 97. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 データセット例 a_1/0.parquet # a=1のデータのみ a_1/1.parquet # a=1のデータのみ a_2/2.parquet # a=2のデータのみ a_3/3.parquet # a=3のデータのみ a_3/4.parquet # a=3のデータのみ
  • 98. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 プッシュダウン対応 下位レイヤーに情報を渡して 不要な処理をごっそりすっ飛ばす 例:必要な部分のみファイルから読む✓ ✓ データベースはよくやっている MySQL/PostgreSQLもやっている✓ ✓
  • 99. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 プッシュダウン例 WHERE a = 1のとき a_1/0.parquet # 読む a_1/1.parquet # 読む a_2/2.parquet # 読まない a_3/3.parquet # 読まない a_3/4.parquet # 読まない
  • 100. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 演算グラフ対応強化 演算グラフ SQLのSELECTでできるような処理をグラフで表現✓ Gandivaがすでに作っている✓ ✓ Ibisやdplyrぐらいリッチにする✓ 演算グラフのシリアライズ対応✓ 実行をもっと速く✓
  • 101. Apache Arrow#ArrowTokyo Powered by Rabbit 2.2.2 まとめ Apache Arrowが言語を超えて実現すること データ交換・データ処理の高速化✓ 実装の共有(共同開発・ライブラリー化)✓ ✓ Apache Arrowを使いたくなった人は Apache Arrowの開発にも参加しよう! ✓