Submit Search
Upload
運用とデータ分析の遠くて近い関係、ISUCONを添えて
•
10 likes
•
10,886 views
SATOSHI TAGOMORI
Follow
Talk at Hokkaido.pm #12
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 30
Download now
Download to read offline
Recommended
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
NTT DATA OSS Professional Services
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
Yuya Unno
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Kenta Oono
Chainerインストール
Chainerインストール
Kenta Oono
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
Yahoo!デベロッパーネットワーク
Deep learning reading club @ nimiri for SWEST
Deep learning reading club @ nimiri for SWEST
Kiyoshi Ogawa
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
NTT DATA OSS Professional Services
Recommended
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
NTT DATA OSS Professional Services
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
Yuya Unno
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Kenta Oono
Chainerインストール
Chainerインストール
Kenta Oono
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
ヤフー音声認識サービスでのディープラーニングとGPU利用事例
Yahoo!デベロッパーネットワーク
Deep learning reading club @ nimiri for SWEST
Deep learning reading club @ nimiri for SWEST
Kiyoshi Ogawa
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
Sparkコミュニティに飛び込もう!(Spark Meetup Tokyo 2015 講演資料、NTTデータ 猿田 浩輔)
NTT DATA OSS Professional Services
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
Spark MLlibではじめるスケーラブルな機械学習
Spark MLlibではじめるスケーラブルな機械学習
NTT DATA OSS Professional Services
20170419PFNオープンハウス リサーチャーの仕事_公開用
20170419PFNオープンハウス リサーチャーの仕事_公開用
Preferred Networks
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
IoT Cyber Security Counter Measurement
IoT Cyber Security Counter Measurement
Kiyoshi Ogawa
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
NTT DATA OSS Professional Services
捗るリコメンドシステムの裏事情(ハッカドール)
捗るリコメンドシステムの裏事情(ハッカドール)
mosa siru
Jeug 02 lt_tetsuyasodo_v01
Jeug 02 lt_tetsuyasodo_v01
Tetsuya Sodo
使ってみませんか?pg hint_plan
使ってみませんか?pg hint_plan
Masao Fujii
Rustでソートを高速化した話(Shinjuku.rs)
Rustでソートを高速化した話(Shinjuku.rs)
MasayukiUrakami1
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
NTT DATA OSS Professional Services
2016年2月4日 空間OSのためのビッグデータ技術基盤
2016年2月4日 空間OSのためのビッグデータ技術基盤
aitc_jp
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
Atsushi Kurumada
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
Preferred Networks
Deep Learning Lab: DIMo & Chainer
Deep Learning Lab: DIMo & Chainer
Preferred Networks
JUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep Learningコンパイラ
LeapMind Inc
ストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Storm
NTT DATA OSS Professional Services
今年作ったもの2013 #hokkaidopm
今年作ったもの2013 #hokkaidopm
鉄次 尾形
Hokkaido.pm #11
Hokkaido.pm #11
moznion
More Related Content
What's hot
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
Spark MLlibではじめるスケーラブルな機械学習
Spark MLlibではじめるスケーラブルな機械学習
NTT DATA OSS Professional Services
20170419PFNオープンハウス リサーチャーの仕事_公開用
20170419PFNオープンハウス リサーチャーの仕事_公開用
Preferred Networks
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
IoT Cyber Security Counter Measurement
IoT Cyber Security Counter Measurement
Kiyoshi Ogawa
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
NTT DATA OSS Professional Services
捗るリコメンドシステムの裏事情(ハッカドール)
捗るリコメンドシステムの裏事情(ハッカドール)
mosa siru
Jeug 02 lt_tetsuyasodo_v01
Jeug 02 lt_tetsuyasodo_v01
Tetsuya Sodo
使ってみませんか?pg hint_plan
使ってみませんか?pg hint_plan
Masao Fujii
Rustでソートを高速化した話(Shinjuku.rs)
Rustでソートを高速化した話(Shinjuku.rs)
MasayukiUrakami1
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
NTT DATA OSS Professional Services
2016年2月4日 空間OSのためのビッグデータ技術基盤
2016年2月4日 空間OSのためのビッグデータ技術基盤
aitc_jp
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
Atsushi Kurumada
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
Preferred Networks
Deep Learning Lab: DIMo & Chainer
Deep Learning Lab: DIMo & Chainer
Preferred Networks
JUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep Learningコンパイラ
LeapMind Inc
ストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Storm
NTT DATA OSS Professional Services
What's hot
(20)
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Spark MLlibではじめるスケーラブルな機械学習
Spark MLlibではじめるスケーラブルな機械学習
20170419PFNオープンハウス リサーチャーの仕事_公開用
20170419PFNオープンハウス リサーチャーの仕事_公開用
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
IoT Cyber Security Counter Measurement
IoT Cyber Security Counter Measurement
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
捗るリコメンドシステムの裏事情(ハッカドール)
捗るリコメンドシステムの裏事情(ハッカドール)
Jeug 02 lt_tetsuyasodo_v01
Jeug 02 lt_tetsuyasodo_v01
使ってみませんか?pg hint_plan
使ってみませんか?pg hint_plan
Rustでソートを高速化した話(Shinjuku.rs)
Rustでソートを高速化した話(Shinjuku.rs)
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
PuppetConf2015参加レポート (第1回 Puppetユーザ会 発表資料)
2016年2月4日 空間OSのためのビッグデータ技術基盤
2016年2月4日 空間OSのためのビッグデータ技術基盤
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
20180227_最先端のディープラーニング 研究開発を支えるGPU計算機基盤 「MN-1」のご紹介
Deep Learning Lab: DIMo & Chainer
Deep Learning Lab: DIMo & Chainer
JUIZ DLK 組込み向けDeep Learningコンパイラ
JUIZ DLK 組込み向けDeep Learningコンパイラ
ストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Storm
Viewers also liked
今年作ったもの2013 #hokkaidopm
今年作ったもの2013 #hokkaidopm
鉄次 尾形
Hokkaido.pm #11
Hokkaido.pm #11
moznion
僕と北海道とPerl、それとMakefileも。
僕と北海道とPerl、それとMakefileも。
azumakuniyuki 🐈
できる!サーバレスアーキテクチャ
できる!サーバレスアーキテクチャ
azuma satoshi
Hokkaido.pmの未来
Hokkaido.pmの未来
Yoshihiro Sasaki
Invitation for v1.0.0
Invitation for v1.0.0
SATOSHI TAGOMORI
Handling not so big data
Handling not so big data
SATOSHI TAGOMORI
Norikra: Stream Processing with SQL
Norikra: Stream Processing with SQL
SATOSHI TAGOMORI
Norikra: SQL Stream Processing In Ruby
Norikra: SQL Stream Processing In Ruby
SATOSHI TAGOMORI
Lambda Architecture Using SQL
Lambda Architecture Using SQL
SATOSHI TAGOMORI
BigQuery, Fluentd and tagomoris #gcpja
BigQuery, Fluentd and tagomoris #gcpja
SATOSHI TAGOMORI
メールフォームからメールを送る近代的な方法 | YAPC::Kansai 2017 OSAKA
メールフォームからメールを送る近代的な方法 | YAPC::Kansai 2017 OSAKA
azumakuniyuki 🐈
〜ゲーム制作を始めてみよう〜 Kawaz入会希望者向けスライド
〜ゲーム制作を始めてみよう〜 Kawaz入会希望者向けスライド
Kohki Miki
ゲーム x リアル - Mont Blanc Pj. & LITTAI -
ゲーム x リアル - Mont Blanc Pj. & LITTAI -
hecomi
Fluentd and WebHDFS
Fluentd and WebHDFS
SATOSHI TAGOMORI
Technology for reduce of mistakes - うっかりをなくす技術
Technology for reduce of mistakes - うっかりをなくす技術
karupanerura
C++用将棋ライブラリ"OpenShogiLib"の紹介
C++用将棋ライブラリ"OpenShogiLib"の紹介
Hiro H.
Use Carton
Use Carton
Yoshihiro Sasaki
テーマ「最適化」
テーマ「最適化」
technocat
Games::* - Perlで 「ゲーム」しよう #hokkaidopm
Games::* - Perlで 「ゲーム」しよう #hokkaidopm
鉄次 尾形
Viewers also liked
(20)
今年作ったもの2013 #hokkaidopm
今年作ったもの2013 #hokkaidopm
Hokkaido.pm #11
Hokkaido.pm #11
僕と北海道とPerl、それとMakefileも。
僕と北海道とPerl、それとMakefileも。
できる!サーバレスアーキテクチャ
できる!サーバレスアーキテクチャ
Hokkaido.pmの未来
Hokkaido.pmの未来
Invitation for v1.0.0
Invitation for v1.0.0
Handling not so big data
Handling not so big data
Norikra: Stream Processing with SQL
Norikra: Stream Processing with SQL
Norikra: SQL Stream Processing In Ruby
Norikra: SQL Stream Processing In Ruby
Lambda Architecture Using SQL
Lambda Architecture Using SQL
BigQuery, Fluentd and tagomoris #gcpja
BigQuery, Fluentd and tagomoris #gcpja
メールフォームからメールを送る近代的な方法 | YAPC::Kansai 2017 OSAKA
メールフォームからメールを送る近代的な方法 | YAPC::Kansai 2017 OSAKA
〜ゲーム制作を始めてみよう〜 Kawaz入会希望者向けスライド
〜ゲーム制作を始めてみよう〜 Kawaz入会希望者向けスライド
ゲーム x リアル - Mont Blanc Pj. & LITTAI -
ゲーム x リアル - Mont Blanc Pj. & LITTAI -
Fluentd and WebHDFS
Fluentd and WebHDFS
Technology for reduce of mistakes - うっかりをなくす技術
Technology for reduce of mistakes - うっかりをなくす技術
C++用将棋ライブラリ"OpenShogiLib"の紹介
C++用将棋ライブラリ"OpenShogiLib"の紹介
Use Carton
Use Carton
テーマ「最適化」
テーマ「最適化」
Games::* - Perlで 「ゲーム」しよう #hokkaidopm
Games::* - Perlで 「ゲーム」しよう #hokkaidopm
Similar to 運用とデータ分析の遠くて近い関係、ISUCONを添えて
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
NTT DATA OSS Professional Services
IkaLog_FPGAStartup1
IkaLog_FPGAStartup1
Takeshi HASEGAWA
[Postgre sql9.4新機能]レプリケーション・スロットの活用
[Postgre sql9.4新機能]レプリケーション・スロットの活用
Kosuke Kida
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
NTT Communications' Initiatives to Utilize Infrastructure Data
NTT Communications' Initiatives to Utilize Infrastructure Data
DataWorks Summit
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
NTT DATA OSS Professional Services
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
tohoku univ alumni meeting
tohoku univ alumni meeting
Hiroshi Miura
StreamPaaSのご紹介
StreamPaaSのご紹介
Yahoo!デベロッパーネットワーク
Linked Open Data技術
Linked Open Data技術
yamahige
OSC福岡2012 LT 20121208
OSC福岡2012 LT 20121208
学 松崎
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
Koichi Hamada
データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会
dsuke Takaoka
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Takashi Aoe
DevOpsが引き金となるインフラエンジニアの進撃
DevOpsが引き金となるインフラエンジニアの進撃
Teruo Adachi
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
Red Hat の日本でできるグローバルな働き方
Red Hat の日本でできるグローバルな働き方
Tadayoshi Sato
perfを使ったPostgreSQLの解析(前編)
perfを使ったPostgreSQLの解析(前編)
Daichi Egawa
Similar to 運用とデータ分析の遠くて近い関係、ISUCONを添えて
(20)
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
IkaLog_FPGAStartup1
IkaLog_FPGAStartup1
[Postgre sql9.4新機能]レプリケーション・スロットの活用
[Postgre sql9.4新機能]レプリケーション・スロットの活用
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT Communications' Initiatives to Utilize Infrastructure Data
NTT Communications' Initiatives to Utilize Infrastructure Data
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
tohoku univ alumni meeting
tohoku univ alumni meeting
StreamPaaSのご紹介
StreamPaaSのご紹介
Linked Open Data技術
Linked Open Data技術
OSC福岡2012 LT 20121208
OSC福岡2012 LT 20121208
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
DevOpsが引き金となるインフラエンジニアの進撃
DevOpsが引き金となるインフラエンジニアの進撃
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Red Hat の日本でできるグローバルな働き方
Red Hat の日本でできるグローバルな働き方
perfを使ったPostgreSQLの解析(前編)
perfを使ったPostgreSQLの解析(前編)
More from SATOSHI TAGOMORI
Ractor's speed is not light-speed
Ractor's speed is not light-speed
SATOSHI TAGOMORI
Good Things and Hard Things of SaaS Development/Operations
Good Things and Hard Things of SaaS Development/Operations
SATOSHI TAGOMORI
Maccro Strikes Back
Maccro Strikes Back
SATOSHI TAGOMORI
Invitation to the dark side of Ruby
Invitation to the dark side of Ruby
SATOSHI TAGOMORI
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
SATOSHI TAGOMORI
Make Your Ruby Script Confusing
Make Your Ruby Script Confusing
SATOSHI TAGOMORI
Hijacking Ruby Syntax in Ruby
Hijacking Ruby Syntax in Ruby
SATOSHI TAGOMORI
Lock, Concurrency and Throughput of Exclusive Operations
Lock, Concurrency and Throughput of Exclusive Operations
SATOSHI TAGOMORI
Data Processing and Ruby in the World
Data Processing and Ruby in the World
SATOSHI TAGOMORI
Planet-scale Data Ingestion Pipeline: Bigdam
Planet-scale Data Ingestion Pipeline: Bigdam
SATOSHI TAGOMORI
Technologies, Data Analytics Service and Enterprise Business
Technologies, Data Analytics Service and Enterprise Business
SATOSHI TAGOMORI
Ruby and Distributed Storage Systems
Ruby and Distributed Storage Systems
SATOSHI TAGOMORI
Perfect Norikra 2nd Season
Perfect Norikra 2nd Season
SATOSHI TAGOMORI
Fluentd 101
Fluentd 101
SATOSHI TAGOMORI
To Have Own Data Analytics Platform, Or NOT To
To Have Own Data Analytics Platform, Or NOT To
SATOSHI TAGOMORI
The Patterns of Distributed Logging and Containers
The Patterns of Distributed Logging and Containers
SATOSHI TAGOMORI
How To Write Middleware In Ruby
How To Write Middleware In Ruby
SATOSHI TAGOMORI
Modern Black Mages Fighting in the Real World
Modern Black Mages Fighting in the Real World
SATOSHI TAGOMORI
Open Source Software, Distributed Systems, Database as a Cloud Service
Open Source Software, Distributed Systems, Database as a Cloud Service
SATOSHI TAGOMORI
Fluentd Overview, Now and Then
Fluentd Overview, Now and Then
SATOSHI TAGOMORI
More from SATOSHI TAGOMORI
(20)
Ractor's speed is not light-speed
Ractor's speed is not light-speed
Good Things and Hard Things of SaaS Development/Operations
Good Things and Hard Things of SaaS Development/Operations
Maccro Strikes Back
Maccro Strikes Back
Invitation to the dark side of Ruby
Invitation to the dark side of Ruby
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Hijacking Ruby Syntax in Ruby (RubyConf 2018)
Make Your Ruby Script Confusing
Make Your Ruby Script Confusing
Hijacking Ruby Syntax in Ruby
Hijacking Ruby Syntax in Ruby
Lock, Concurrency and Throughput of Exclusive Operations
Lock, Concurrency and Throughput of Exclusive Operations
Data Processing and Ruby in the World
Data Processing and Ruby in the World
Planet-scale Data Ingestion Pipeline: Bigdam
Planet-scale Data Ingestion Pipeline: Bigdam
Technologies, Data Analytics Service and Enterprise Business
Technologies, Data Analytics Service and Enterprise Business
Ruby and Distributed Storage Systems
Ruby and Distributed Storage Systems
Perfect Norikra 2nd Season
Perfect Norikra 2nd Season
Fluentd 101
Fluentd 101
To Have Own Data Analytics Platform, Or NOT To
To Have Own Data Analytics Platform, Or NOT To
The Patterns of Distributed Logging and Containers
The Patterns of Distributed Logging and Containers
How To Write Middleware In Ruby
How To Write Middleware In Ruby
Modern Black Mages Fighting in the Real World
Modern Black Mages Fighting in the Real World
Open Source Software, Distributed Systems, Database as a Cloud Service
Open Source Software, Distributed Systems, Database as a Cloud Service
Fluentd Overview, Now and Then
Fluentd Overview, Now and Then
Recently uploaded
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Recently uploaded
(8)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
運用とデータ分析の遠くて近い関係、ISUCONを添えて
1.
運用とデータ分析の遠くて近い関係、 ISUCONを添えて TAGOMORI
Satoshi (@tagomoris) 2014/11/01(Sat) Hokkaido.pm
2.
はじめに YAPC::Asia Tokyo
2014 ベストスピーカー2位のおかげで来られました JPA++
3.
Satoshi Tagomori (@tagomoris)
Fluentd, Fluentd plugins, Norikra, Shib, woothee, xbuild, ... ISUCON founder
4.
Perl書いてるの? Ruby, Node.js,
... Perl Net::Hadoop::WebHDFS, ...
5.
_人人人人_ > Java < ‾Y
^ Y ^ Y‾ http://d.hatena.ne.jp/tagomoris/20141028/1414485679
6.
anyway,
7.
おしごと 開発支援: 2010/08
- 2014/04 平たく言うと運用系あれこれ サーバセットアップ、モニタリングから障害対応まで モニタリングの一環として(?)データ分析系の仕事 分析プラットフォーム: 2014/05 - NOW データ分析系専門
8.
運用の仕事 セットアップ系 監視
モニタリング、障害対応
9.
運用の仕事 セットアップ系 省略
監視 省略 モニタリング、障害対応
10.
モニタリング システムモニタリング CPU、メモリ、トラフィック、ディスク容量
httpd、mysql、memcached サービスモニタリング HTTP status、レスポンスタイム、etc
11.
サービスモニタリング(1) 外部モニタリング:アクセスログ HTTP
status code、レスポンスタイム
12.
サービスモニタリング(2) 半外部モニタリング:アクセスログ 特定パス・特定メソッドのみの状況
特定User-Agentのみの状況
13.
サービスモニタリング(3) 内部モニタリング:アプリケーションログ 特定の外部API呼び出しの状況
アクセスログに載せられない情報による集計 複雑なデータ構造にもとづいた集計 ユーザの国情報、有料/無料ユーザ、等々
14.
障害検知 障害とは ユーザに対して不正な応答が返っている状況
あるいは応答が返っていない状況 外部モニタリングで観測可能 誰でも「障害が起きていること」はわかる
15.
障害検知 障害とは 誰でも「障害が起きていること」がわかるように
しておかないと駄目
16.
障害対応 誰がやる? 誰か、見付けた人、対応できる人
誰がやるべき? そのサービスに詳しくない人こそやるべき 技術的知見が広がる、業務知識が広がる 他者が見ておかしいところを発見できる
17.
障害対応 応答が正常に戻るために何でもやる サーバ構成の把握(HW、SW)
コードを読む どういうアクセスが来ているか見る 直す これどっかで見たやつでは?
18.
19.
ISUCONとはつまり 過負荷で障害が起きている状況コンテスト
20.
ISUCONでやること ベンチのスコアを上げるために何でもやる サーバ構成の把握(HW、SW)
コードを読む どういうアクセスが来ているか見る 直す 時間制限もある! いそげ!
21.
とはいえ:普段の障害対応 究極的にパフォーマンスを上げるのは目的ではない 必要十分な対応ができればいい
逆にやりすぎて壊したらまずい 最小の手で解決するにはどうしたらいい? 可能な限り早く収束させたい 最短の作業で解決するにはどうしたらいい?
22.
障害対応のために 内部モニタリングが充実していると便利 詰まっている外部API呼び出しは?
集中しているアクセスの種類は? 影響を受けているユーザの属性は? まだあまりできてない……
23.
内部モニタリングの手法 アプリケーションからのログの出力 複雑な構造化データ
確実な伝送 柔軟な集計 できればリアルタイムに近い形で
24.
25.
26.
Data Analytics overview
collect parse clean up process visualize store process
27.
Service Monitoring overview
Data Analytics overview collect parse clean up process visualize store process
28.
やることは同じ ログを集めて適度に集計、異常を検出 使いかたが少し違う
運用:リアルタイムに近い集計、障害検出 分析:中長期で集計、KPI算出、サービス改善 やり始めるとどっちにも効果があって便利
29.
ツール群の特徴 ビジネスの効果には直結しない(大抵の場合は) ビジネスロジック等は設定やクエリに書かれる
コード、仕組みは共有できる ツールのOSS化、ノウハウの公開がしやすい Fluentd, Hadoop, Presto, Norikra, GrowthForecast, ..
30.
SHARE software, know-how
& concerns! Thank you!
Download now