Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

TAMAMOはじめます-アクセラレータ向け分散処理ライブラリ-

1,102 views

Published on

オープンソースカンファレンス2016 Tokyo/Fallの懇親会LTでの発表です。

#osc16tk

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

TAMAMOはじめます-アクセラレータ向け分散処理ライブラリ-

  1. 1. TAMAMO はじめます アクセラレータ向け(FPGA) 分散処理ライブラリ @sushi514 05th Nov. 2016 OSC Tokyo fall
  2. 2. 自己紹介 @sushi515 調布幼稚園在住 mikutter好き(これもそのうちLTで) 27th Nov. ミスコン@調布幼稚園
  3. 3. FPGAの流行り • 最近みんなやってる • 難しいけどね Microsoft catapult (Bing)2016/11/5 OSC懇親会LT 3
  4. 4. アクセラレータとしての立ち位置 • FPGA • ストリーミング処理が得意 • GPU • 大量の計算処理エレメント(CUDAコア)を持つ • 行列積計算とか得意 • CPU • みんな大好き、難しい計算もできる 2016/11/5 OSC懇親会LT 4
  5. 5. ストリーミング処理の嬉しさ • 入ってきたデータをワイヤーレートで処理 名状しがたい ビッグデータのようなもの フィルター or 演算処理 (on FPGA) データ でかくない? 俺これやんの? 予算は? マシンは? バズワード まじ勘弁 もう答あんの? じゃあウェブに流すわ 2016/11/5 OSC懇親会LT 5
  6. 6. 分散処理ライブラリ • マルチノード、マルチプロセス・スレッド(CPU) • Message Passing Interfac(MPI), OpenMP • マルチアクセラレータ • OpenACC + MPI • e.g. OpenCL、CUDA • マルチアクセラレータ(FPGA) • なくない? • 俺の考えた、さいつよ基盤♡ • データたくさん流し込めるFPGAを マルチボード制御して云云かんぬん 2016/11/5 OSC懇親会LT 6
  7. 7. マルチFPGAの嬉しさ
  8. 8. 名状しがたい 超ビッグデータの ようなもの 出てきたデータをもらうだけ
  9. 9. フィルター or 演算処理 (on FPGA) 名状しがたい 超ビッグデータの ようなもの 出てきたデータをもらうだけ
  10. 10. フィルター or 演算処理 (on FPGA) 名状しがたい 超ビッグデータの ようなもの 出てきたデータをもらうだけ _人人人人人人人人人人_ > 機械学習人口知能 < > IoT < >ビッグデータ処理基盤 < > クラウド < >圧倒的技術革新の予感<  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄
  11. 11. どっから作るの?! • シリコンを掘り起こしにいく?! • VHDL回路から?! 「強いボードと、 強いVHDLコードがここにあります」 「ソフトウェアライブラリどう?」 「なるほど(ソフトウェア書くか)」 知の師@jk443 @sushi514 難しい問題はすべてクリア! 2016/11/5 OSC懇親会LT 11 AVAL APX-7142
  12. 12. というわけで作りました
  13. 13. できた • TAMAMO (FPGA) •Take Advantage of Multi Accelerators Multi Operations • 現在:FPGA分散処理ライブラリ • マルチFPGAボードを制御 • マルチノード制御も可能 • 何ができるの? • ボードの制御 • マルチFPGAボードorノードでデータベース処理 2016/11/5 OSC懇親会LT 13 キャス狐じゃないよ
  14. 14. • 各FPGAに刺さった分散ストレージからデータ読み出し • 各ボードのSSD(RAID0) • 読み出し中にSQL文でのデータ処理 • データ反転 • フィルタ • 集約演算 TAMAMOで、できること tamamo Hydraによる各ホストSSD間のデータ転送 TAMAMO TAMAMOによる並列SSDからのデータ転送 R:720MB/s W:775MB/s tamamo tamamo tamamo 2016/11/5 OSC懇親会LT 14
  15. 15. 最後に • 誠意作成中 • @susuhi514の最近のライフワーク • 来週中にGithubにあげます(nkawahara) ※ただしボード依存あり • FPGAだけでなくGPUも組み込みたい • mikutter + アクセラレータ? • TAMAMOのイラスト募集中 • かわいい狐だったらいいなぁ (人間、妖怪、問わず) 面白い取り組み(自称)なので 何かあればこちらまで! → @sushi514 2016/11/5 OSC懇親会LT 15 10月に学会でこの件で受賞しました

×