SlideShare a Scribd company logo
第一回IoT関連技術勉強会
分散処理編
田実 誠
• IoTの話の前提となる知識
• ビッグデータ
• スケールアップとスケールアウト
• 並行配置/分散処理
• Hadoop/Hive/Pig
• TreasureData
• RedShift, BigQuery, EMR
• まとめ
アジェンダ
IoT…の前にビッグデータの話
昔はデータが少なかったので、普通のRDB(Oracle, MySQL, Postgres, SQL Server…)で問題なかった
Webが広く受け入れられ、データ量が増えた
データ量(特にログ)が億とか兆レベルになって、RDBでは扱いづらいレベルになった。
集計クエリを発行すると返ってこない。
スケールアップには限界がある。コストもかかりがち。さらに、データが将来どれくらい増えるかわからない。
だから、限界が無いスケールアウトをしたい。
とはいえ、 RDBだけの仕組みで分散処理の仕組みを作るのは難しい。
スケールアウトできる分散処理基盤
Hadoop(Map/Reduce), TreasureData, Redshift, BigQuery
スケールアップとスケールアウト
スケールアップ
• 処理能力を上げるために、サーバ1台1台のスペック(CPU/RAM/ディスクIO)を上げる
• スペックの上限がある
• コストも高くなりがち
• 管理対象が少ないので、管理コストが低い
スケールアウト(→バッチの分散処理に利用される)
• 処理能力を上げるために、サーバ自体を増やす
• スペックの上限が無い
• スケールアップよりは安くなることが多い
• 管理対象のサーバが増えるため、管理コストが高い(死活監視、メンテナンス、セキュリティ)
• ロードバランサやマスターサーバが必要になり難度が高い(とはいえサービスの提供により簡単になってきて
いる)
• 副産物として可用性も上げれる
可用性を上げれるという利点もあるので、スケールアウトの方針がとられることが多い
分散処理…の前にプロジェクトの話?
お客さん
PM/開発
・要件定義
・設計
・開発
・テスト
小型/保守案件パターン
お客さん
PM
・要件定義
・基本設計
・テスト
中規模案件パターン
>役割分担
開発者
・詳細設計
・開発
・単体テスト
お客さん
PM
・要件定義
・管理業務
大規模案件パターン
>役割分担、増員
開発者/テスター
・詳細設計
・開発
・単体テスト
Webサーバのスケールアウトの話
Webサーバのスケールアウトも基本原理は全く同じ
ユーザ(ブラウザ)
Web/DB
サーバ
小規模Webアプリ
ユーザ(ブラウザ)
Webサーバ
中規模Webアプリ
>機能分割
DBサーバ
ユーザ(ブラウザ)
プロキシ
・F/W(WAF)
・ロードバランサ
大規模Webアプリ
>機能分割+並行配置
Webサーバ
RDBのスケールアウトの話
そもそもRDBの仕組みでスケールアウトができないのか
レプリケーション(別のサーバにコピー)、水平分割(シャーディング)、垂直分割等で可能。レプリケーション
以外はDBの設計の難度が高い。レプリケーションでスケールアウトできるのは検索(READ)のみ。
※ここらへんの問題を解決したのがNoSQL(ただし、万能ではない)
Webサーバ
DB(マスター)
DB(スレーブ)
作成、更新、削除 同期処理
検索
ちなみに…
疎結合(役割分割)にするとスケールアウトできる、という利点があります。
逆に、スケールアウトするためには疎結合にする必要があります。
最近はマイクロサービスアーキテクチャ、という言葉が流行っていますが
これはサーバの役割を必要最小限にすることでスケーラビリティ、メンテナンサビリティの高いアーキテクチャに
する目的があります。(UNIX哲学的な)
HerokuのDynoに関してもアプリケーションサーバという役割に分割しているからこそ
スケールアウトを容易に実現できています(DB、ストレージは他のアドオンが役割を担う)
アクセス数、処理数が多いシステムはスケールアウトするために、たくさんの機能分割をしているので
ノードが多く、複雑になります。
逆に、アクセス数、処理数が将来的にも少ないシステムは無理に役割分担をする必要は無いと思います。
適材適所という感じ。
・分散処理フレームワーク(バッチ処理)
Hadoop
バッチ処理サーバ
DBサーバ
マスターサーバ
・タスク振り分け
ノードサーバ
・タスク処理
・データ保持
簡単なバッチ処理 大量データのバッチ処理
• データをHDFSという仮想ファイルシステムに格納
→各ノード(処理サーバ)自体にデータを格納。同じデータを3つコピーする。
• Hadoopが起動すると、Map(非構造データをKey/Valueに変換する処理)
とReduce(Mapで処理されたデータを集計する)処理が行われる
→Javaで書いたり、それ以外の言語で書いたり(Hadoop Streaming)
• どんな非構造データでも分析することが可能
Hadoop
192.168.33.1 - -
[28/May/2016:08:20:07 +0000] "GET /
HTTP/1.1" 200 444 1.0269
192.168.33.1 - -
[28/May/2016:08:20:29 +0000] "GET
/login HTTP/1.1" 200 1262 0.0353
192.168.33.1 - -
[28/May/2016:08:20:29 +0000] "GET
/css/signing.css HTTP/1.1" 200 736
0.0041
/login<tab>10
/signup<tab>20
/login<tab>25
/signup<tab>25
/login<tab>15
/signup<tab>5
Map
Reduce
Hadoop - HDFS
発注画面の仕様書
を持つAさん
見積画面の仕様書
を持つBさん
Aさん、Bさんどちらかが風邪を引くと終わる
発注画面と見積画面の
仕様書を持つAさん
発注画面と見積画面の
仕様書を持つBさん
両方、風邪を引いても大丈夫
同じデータを3つコピーする?
→一部のノードに障害が発生しても問題なく動作する
• 対象のデータは処理ノード自身に持たせる(ネットワークレイテンシと輻輳対策)
• 各ノードにデータを持たせることで、ディスクI/Oのスループットを向上させる
Hadoop - HDFS
仕様書を持ってい
ない開発者
全仕様書を持っている
非開発者
データのやりとりが発生する
発注画面と見積画面の
仕様書を持つAさん
発注画面と見積画面の
仕様書を持つBさん
データのやりとりが発生しない
※かといって全仕様書を持たせることはできないの
で処理する最低限の仕様書だけ持たせる
Hadoopの概念図
出典: http://www.glennklockwood.com/data-intensive/hadoop/overview.html#3-2-map-reduce-jobs
Hive
RDBMSのSQLでMap/Reduceを書けるソフトウェア
→わざわざMap/Reduceを書く必要がなく、SQLの知識が活かせて手軽
→要件の大半は集計系のSQLで記述できるため便利
※レコメンデーション、機械学習系の難しい処理はSQLでは記述できないので
Hiveを利用せず、Map/Reduceを使うことが多い…と思う
Pig
Map/Reduceのラッパー。Map/Reduceを簡単に記述できる言語
• 大量のデータを集計、抽出、分析できる分散処理SaaS
→Hadoop As A Serviceと言いたいところだが色々と構造が異なる
※一から分散処理基盤を構築するのは難しいしコストも高いので手軽で便利
• 内部はHadoop/Hive(一部独自の実装を載せている)
• スキーマフリーだけど高速な処理
→MessagePack(バイナリ版JSON)+カラム指向DB
• 集計処理はHive/Pig/Prestoで記述可能
• スケジュール実行+実行結果の外部出力
→GUIによる設定で自由に変更可能
TreasureData
• DBのボトルネックはディスクI/Oなので、読み込むデータが少なければ少ないほど良い
• 行ではなく、カラムごとにデータをまとめて持たせる
→取得するときは利用するカラムだけ取得すれば良いので効率的、ディスクシークも
少ない
• 各カラムのデータは圧縮されていてディスクI/Oが少ない
→カラムは同一データ型なので圧縮効率が良い
• ただし、カラムが作成される度に展開/圧縮をする必要が有るため、データ作成処
理は苦手
カラム指向DB?
RDB vs 分散処理
RDBMS 分散処理(Hadoop)
目的 トランザクション処理
小さいデータを読み書き
集計処理
データ量 テラバイト
~億レコード
ペタバイト
~兆レコード
レスポンス 早い 遅い(データ量が多くなると相対
値としては早くなる)
拡張方法 スケールアップがメイン
※スケールアウトの構成も取れるがやや複雑
スケールアウト
業務系システム: RDB
分析システム: RDB/分散処理基盤
どう使うか?
→DB作ってデータ入れてクエリ(Hive/Pig/Presto)発行するだけ!
→データの入れ方は色々ある(fluentd/embulk/API直叩き)
TreasureData
DEMO
• TreasureDataと同じ用途で利用されるが、こちらはRDB色が強い。
• PostgreSQLなので、ODBC/JDBCで接続可能
• RDB色が強いと言ってもIndexは無い
• スキーマフリーではなく、テーブルを作成
• 内部的な構造がTreasureDataやHadoopとは異なる
• 適切にチューニングされていればHadoop/Hiveよりは検索速度は早い
→データ入れてクエリ発行するだけ。
Amazon RedShift
• Hadoop As A Service
• Hadoopのインストール(マスターノード、スレーブノード、クラスタ関連)が
不要なので、手軽にMap/Reduceできる
• Amazonなので従量課金
• Amazonなので自由にスケール可能
Elastic Map Reduce (EMR)
BigQuery (Google)
• 同じような用途。スキーマフリー。カラム指向DB。RDBではない。なん
となく安い印象
• データやリクエストの増加によりスケールアウト(分散処理)する構成が多く
なった
• ビッグデータの分析はスケールアウトする分散処理基盤を使う必要がある
• TreasureDataはHadoop/Hive/Prestoをサービス化したもの(内部構
造や考え方は一部異なる)
• 類似の分析処理基盤としてRedShift、BigQuery等がある
• 用途によってRDBと分散処理基盤(とNoSQL)を使い分ける必要がある
まとめ

More Related Content

What's hot

ICDE 2015 Study (R24-4, R27-3)
ICDE 2015 Study (R24-4, R27-3)ICDE 2015 Study (R24-4, R27-3)
ICDE 2015 Study (R24-4, R27-3)
Masafumi Oyamada
 
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructureSmart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
DataWorks Summit
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
Tetsutaro Watanabe
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
 
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
griddb
 
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
Insight Technology, Inc.
 
Snowflake Architecture and Performance
Snowflake Architecture and PerformanceSnowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
 
Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料
Shimpei Matsuura
 
AI研究を加速するオープンデータ
AI研究を加速するオープンデータAI研究を加速するオープンデータ
AI研究を加速するオープンデータ
Deep Learning Lab(ディープラーニング・ラボ)
 
Dokkuの活用と内部構造
Dokkuの活用と内部構造Dokkuの活用と内部構造
Dokkuの活用と内部構造
修平 富田
 
OSSを活用したダッシュボード の紹介
OSSを活用したダッシュボード の紹介OSSを活用したダッシュボード の紹介
OSSを活用したダッシュボード の紹介
BigData Sios
 
トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方Takahiro Inoue
 
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
 
トレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティングトレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティング
Takahiro Inoue
 
福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery
Wasaburo Miyata
 
Dvx update 20180605
Dvx update 20180605Dvx update 20180605
Dvx update 20180605
正明 羽鳥
 
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Kazuhiro Mitsuhashi
 

What's hot (17)

ICDE 2015 Study (R24-4, R27-3)
ICDE 2015 Study (R24-4, R27-3)ICDE 2015 Study (R24-4, R27-3)
ICDE 2015 Study (R24-4, R27-3)
 
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructureSmart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
 
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
何を基準に選定すべきなのか!? 〜ビッグデータ×IoT×AI時代のデータベースのアーキテクチャとメカニズムの比較〜
 
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
 
Snowflake Architecture and Performance
Snowflake Architecture and PerformanceSnowflake Architecture and Performance
Snowflake Architecture and Performance
 
Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料
 
AI研究を加速するオープンデータ
AI研究を加速するオープンデータAI研究を加速するオープンデータ
AI研究を加速するオープンデータ
 
Dokkuの活用と内部構造
Dokkuの活用と内部構造Dokkuの活用と内部構造
Dokkuの活用と内部構造
 
OSSを活用したダッシュボード の紹介
OSSを活用したダッシュボード の紹介OSSを活用したダッシュボード の紹介
OSSを活用したダッシュボード の紹介
 
トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方
 
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
 
トレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティングトレジャーデータとtableau実現する自動レポーティング
トレジャーデータとtableau実現する自動レポーティング
 
福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery
 
Dvx update 20180605
Dvx update 20180605Dvx update 20180605
Dvx update 20180605
 
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
 

Viewers also liked

Heroku Changelog in 2013
Heroku Changelog in 2013Heroku Changelog in 2013
Heroku Changelog in 2013
Ayumu Aizawa
 
Heroku
HerokuHeroku
Heroku
Ayumu Aizawa
 
第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編
tzm_freedom
 
Dreamforce '15のお話
Dreamforce '15のお話Dreamforce '15のお話
Dreamforce '15のお話
tzm_freedom
 
第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3
tzm_freedom
 
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
 
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
tzm_freedom
 
Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処
まえすとろ
 
第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編
tzm_freedom
 
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
tzm_freedom
 
第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2
tzm_freedom
 
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
tzm_freedom
 
初めてのGemの読み方
初めてのGemの読み方初めてのGemの読み方
初めてのGemの読み方Takao Baba
 
第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1
tzm_freedom
 
プロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張るプロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張る
mookjp
 
PaaSに適したアプリケーション設計 がもたらすメリット
PaaSに適したアプリケーション設計がもたらすメリットPaaSに適したアプリケーション設計がもたらすメリット
PaaSに適したアプリケーション設計 がもたらすメリットAyumu Aizawa
 
ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話
tzm_freedom
 
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
Yuji Otani
 
Heroku HTTP API Design Guide
Heroku HTTP API Design GuideHeroku HTTP API Design Guide
Heroku HTTP API Design Guide
Ayumu Aizawa
 
CrystalでもRailsを使いたいですか?
CrystalでもRailsを使いたいですか?CrystalでもRailsを使いたいですか?
CrystalでもRailsを使いたいですか?
Masayuki Uchida
 

Viewers also liked (20)

Heroku Changelog in 2013
Heroku Changelog in 2013Heroku Changelog in 2013
Heroku Changelog in 2013
 
Heroku
HerokuHeroku
Heroku
 
第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編
 
Dreamforce '15のお話
Dreamforce '15のお話Dreamforce '15のお話
Dreamforce '15のお話
 
第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3
 
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
 
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
 
Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処
 
第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編
 
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
 
第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2
 
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
 
初めてのGemの読み方
初めてのGemの読み方初めてのGemの読み方
初めてのGemの読み方
 
第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1
 
プロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張るプロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張る
 
PaaSに適したアプリケーション設計 がもたらすメリット
PaaSに適したアプリケーション設計がもたらすメリットPaaSに適したアプリケーション設計がもたらすメリット
PaaSに適したアプリケーション設計 がもたらすメリット
 
ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話
 
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
 
Heroku HTTP API Design Guide
Heroku HTTP API Design GuideHeroku HTTP API Design Guide
Heroku HTTP API Design Guide
 
CrystalでもRailsを使いたいですか?
CrystalでもRailsを使いたいですか?CrystalでもRailsを使いたいですか?
CrystalでもRailsを使いたいですか?
 

Similar to 第一回IoT関連技術勉強会 分散処理編

ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version - ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
Tetsutaro Watanabe
 
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
 
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
Amazon Web Services Japan
 
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoopInsight Technology, Inc.
 
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
MapR Technologies Japan
 
BigQuery + Fluentd
BigQuery + FluentdBigQuery + Fluentd
BigQuery + Fluentd
徹 上野山
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
 
20191115-PGconf.Japan
20191115-PGconf.Japan20191115-PGconf.Japan
20191115-PGconf.Japan
Kohei KaiGai
 
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~Developers Summit
 
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
griddb
 
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
griddb
 
黄色い象と共に生きる
黄色い象と共に生きる黄色い象と共に生きる
黄色い象と共に生きる
Kazuhiro Ota
 
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
Insight Technology, Inc.
 
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
日本マイクロソフト株式会社
 
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
griddb
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜Takahiro Inoue
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
Yoichi Kawasaki
 
Level dbを試した
Level dbを試したLevel dbを試した
Level dbを試した
takayuki kochi
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
Treasure Data, Inc.
 
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sqlCassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
 

Similar to 第一回IoT関連技術勉強会 分散処理編 (20)

ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version - ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
 
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分けビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
 
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
 
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
 
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
 
BigQuery + Fluentd
BigQuery + FluentdBigQuery + Fluentd
BigQuery + Fluentd
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
 
20191115-PGconf.Japan
20191115-PGconf.Japan20191115-PGconf.Japan
20191115-PGconf.Japan
 
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
 
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
 
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
 
黄色い象と共に生きる
黄色い象と共に生きる黄色い象と共に生きる
黄色い象と共に生きる
 
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
 
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
【de:code 2020】 PostgreSQL もスケールさせよう! - Hyperscale (Citus) -
 
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!?~両者を備えたスケールアウトデータベースGridDB~
 
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
 
Level dbを試した
Level dbを試したLevel dbを試した
Level dbを試した
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
 
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sqlCassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
 

Recently uploaded

Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 

Recently uploaded (9)

Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 

第一回IoT関連技術勉強会 分散処理編