Submit Search
Upload
Active job meets kubernetes
•
0 likes
•
829 views
Yasutomo Uemori
Follow
Kubernetes Meetup Osaka #1でのLT資料です
Read less
Read more
Report
Share
Report
Share
1 of 13
Download now
Download to read offline
Recommended
Ruby/Rails Benchmarking and Profiling with TDD
Ruby/Rails Benchmarking and Profiling with TDD
Yasutomo Uemori
大阪Ruby会議02での発表資料です https://regional.rubykaigi.org/osaka02/
Spark Streaming on AWS -S3からKinesisへ-
Spark Streaming on AWS -S3からKinesisへ-
chibochibo
the struggles until find one's way the Kinesis.
Spark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with Elasticsearch
chibochibo
20140930 anything as_code
20140930 anything as_code
Sugawara Genki
20140930 anything as_code
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Sugawara Genki
Lambdaによるクラウド型言語の実装
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
Sugawara Genki
DynamoDBのまえにキャッシュおく奴
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
hiboma
http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となります
AWS Lambdaで作るクローラー/スクレイピング
AWS Lambdaで作るクローラー/スクレイピング
Takuro Sasaki
AWS Lambdaで作るクローラー/スクレイピング
Recommended
Ruby/Rails Benchmarking and Profiling with TDD
Ruby/Rails Benchmarking and Profiling with TDD
Yasutomo Uemori
大阪Ruby会議02での発表資料です https://regional.rubykaigi.org/osaka02/
Spark Streaming on AWS -S3からKinesisへ-
Spark Streaming on AWS -S3からKinesisへ-
chibochibo
the struggles until find one's way the Kinesis.
Spark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with Elasticsearch
chibochibo
20140930 anything as_code
20140930 anything as_code
Sugawara Genki
20140930 anything as_code
Lambdaによるクラウド型言語の実装
Lambdaによるクラウド型言語の実装
Sugawara Genki
Lambdaによるクラウド型言語の実装
DynamoDBのまえにキャッシュおく奴
DynamoDBのまえにキャッシュおく奴
Sugawara Genki
DynamoDBのまえにキャッシュおく奴
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
hiboma
http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となります
AWS Lambdaで作るクローラー/スクレイピング
AWS Lambdaで作るクローラー/スクレイピング
Takuro Sasaki
AWS Lambdaで作るクローラー/スクレイピング
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
Sugawara Genki
SQLによるDynamoDBの操作
LocalStack
LocalStack
chibochibo
mock framework for AWS services 第十九回 #渋谷java
Aws docker-rails-demo slideshare
Aws docker-rails-demo slideshare
Kanno Yusuke
AWS ECS上で動作するrailsサンプルアプリの解説スライド
JAWSUG版 PostgreSQL on Amazon EC2の可能性
JAWSUG版 PostgreSQL on Amazon EC2の可能性
Serverworks Co.,Ltd.
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
Kazunari Hara
アメブロのフロントエンド刷新についてFrontrend Vol.8で発表した内容です。
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
真乙 九龍
MasterCloud #7 Zabbix Conference Japan 2017 LTで発表した クラスタ監視および、Zabbixでの運用自動化の資料です Zabbix 3.0 の新機能により進化した全自動Zabbixをご活用ください。
高トラフィックサイトをRailsで構築するためのTips基礎編
高トラフィックサイトをRailsで構築するためのTips基礎編
Kazuya Numata
アクセス数の多いサイトをRailsで運用する場合にやっておきたい設定
AWSをコードで定義する
AWSをコードで定義する
Sugawara Genki
Capistrano紹介 at kawasaki.rb #002 #kwskrb
Capistrano紹介 at kawasaki.rb #002 #kwskrb
Tsubasa Yumura
2013/07/24に開催された第2回 kawasaki.rb の LT で発表した 「Capistrano紹介」の資料
HerokuMeetupCuon
HerokuMeetupCuon
tomoya masuri
Heroku MeetupにてLTさせていただいた際の資料です。
わんくま東京#46 予告編
わんくま東京#46 予告編
Sunao Tomita
Crawler Commons
Crawler Commons
chibochibo
Java components that implement parse robots.txt and sitemaps. 第二十回 #渋谷java
NoOps Japanサイトの紹介
NoOps Japanサイトの紹介
Igarashi Toru
NoOps Meetup Tokyo #9 にて、コミュニテイの公式サイトの紹介をさせて頂きました https://noops.connpass.com/event/155752/
serverless framework + AWS Lambda with Python
serverless framework + AWS Lambda with Python
masahitojp
I talked about serverless framework + AWS Lambda with Python
serverless
serverless
Kohei Misu
serverless
ディープラーニングをAWS LambdaとStep Functionで自動化する
ディープラーニングをAWS LambdaとStep Functionで自動化する
Keita Shimizu
高価なGPUインスタンスを自腹最小出費で使うための苦闘
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
mizugokoro
Automated deep learning training with AWS Step Functions and AWS Lambda.
Scotty を利用した "ゆるふわ" Web サービス作成
Scotty を利用した "ゆるふわ" Web サービス作成
krdlab
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
Hideaki Aoyagi
2018/11/16「Serverless Meetup Fukuoka #3」で発表したLT資料です
API Gatewayで re:Inventのセッション探し
API Gatewayで re:Inventのセッション探し
Ryo Nakamaru
2015 / 09 / 08 JAWS-UG 千葉支部 Vol.5 ~秋のAWS Lambda & API Gateway 祭り!!~ で発表した、API Gatewayを通じてre:Inventのセッション検索をしてみた話
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
emasaka
成長を加速する minne の技術基盤戦略
成長を加速する minne の技術基盤戦略
Hiroshi SHIBATA
変化するサービスとチームを支える
More Related Content
What's hot
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
Sugawara Genki
SQLによるDynamoDBの操作
LocalStack
LocalStack
chibochibo
mock framework for AWS services 第十九回 #渋谷java
Aws docker-rails-demo slideshare
Aws docker-rails-demo slideshare
Kanno Yusuke
AWS ECS上で動作するrailsサンプルアプリの解説スライド
JAWSUG版 PostgreSQL on Amazon EC2の可能性
JAWSUG版 PostgreSQL on Amazon EC2の可能性
Serverworks Co.,Ltd.
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
Kazunari Hara
アメブロのフロントエンド刷新についてFrontrend Vol.8で発表した内容です。
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
真乙 九龍
MasterCloud #7 Zabbix Conference Japan 2017 LTで発表した クラスタ監視および、Zabbixでの運用自動化の資料です Zabbix 3.0 の新機能により進化した全自動Zabbixをご活用ください。
高トラフィックサイトをRailsで構築するためのTips基礎編
高トラフィックサイトをRailsで構築するためのTips基礎編
Kazuya Numata
アクセス数の多いサイトをRailsで運用する場合にやっておきたい設定
AWSをコードで定義する
AWSをコードで定義する
Sugawara Genki
Capistrano紹介 at kawasaki.rb #002 #kwskrb
Capistrano紹介 at kawasaki.rb #002 #kwskrb
Tsubasa Yumura
2013/07/24に開催された第2回 kawasaki.rb の LT で発表した 「Capistrano紹介」の資料
HerokuMeetupCuon
HerokuMeetupCuon
tomoya masuri
Heroku MeetupにてLTさせていただいた際の資料です。
わんくま東京#46 予告編
わんくま東京#46 予告編
Sunao Tomita
Crawler Commons
Crawler Commons
chibochibo
Java components that implement parse robots.txt and sitemaps. 第二十回 #渋谷java
NoOps Japanサイトの紹介
NoOps Japanサイトの紹介
Igarashi Toru
NoOps Meetup Tokyo #9 にて、コミュニテイの公式サイトの紹介をさせて頂きました https://noops.connpass.com/event/155752/
serverless framework + AWS Lambda with Python
serverless framework + AWS Lambda with Python
masahitojp
I talked about serverless framework + AWS Lambda with Python
serverless
serverless
Kohei Misu
serverless
ディープラーニングをAWS LambdaとStep Functionで自動化する
ディープラーニングをAWS LambdaとStep Functionで自動化する
Keita Shimizu
高価なGPUインスタンスを自腹最小出費で使うための苦闘
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
mizugokoro
Automated deep learning training with AWS Step Functions and AWS Lambda.
Scotty を利用した "ゆるふわ" Web サービス作成
Scotty を利用した "ゆるふわ" Web サービス作成
krdlab
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
Hideaki Aoyagi
2018/11/16「Serverless Meetup Fukuoka #3」で発表したLT資料です
API Gatewayで re:Inventのセッション探し
API Gatewayで re:Inventのセッション探し
Ryo Nakamaru
2015 / 09 / 08 JAWS-UG 千葉支部 Vol.5 ~秋のAWS Lambda & API Gateway 祭り!!~ で発表した、API Gatewayを通じてre:Inventのセッション検索をしてみた話
What's hot
(20)
SQLによるDynamoDBの操作
SQLによるDynamoDBの操作
LocalStack
LocalStack
Aws docker-rails-demo slideshare
Aws docker-rails-demo slideshare
JAWSUG版 PostgreSQL on Amazon EC2の可能性
JAWSUG版 PostgreSQL on Amazon EC2の可能性
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
アメブロ2016 アメブロフロント刷新にみる ひかりとつらみ
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
Zabbixによるオートスケーリングクラスタ監視とオペレーション自動化
高トラフィックサイトをRailsで構築するためのTips基礎編
高トラフィックサイトをRailsで構築するためのTips基礎編
AWSをコードで定義する
AWSをコードで定義する
Capistrano紹介 at kawasaki.rb #002 #kwskrb
Capistrano紹介 at kawasaki.rb #002 #kwskrb
HerokuMeetupCuon
HerokuMeetupCuon
わんくま東京#46 予告編
わんくま東京#46 予告編
Crawler Commons
Crawler Commons
NoOps Japanサイトの紹介
NoOps Japanサイトの紹介
serverless framework + AWS Lambda with Python
serverless framework + AWS Lambda with Python
serverless
serverless
ディープラーニングをAWS LambdaとStep Functionで自動化する
ディープラーニングをAWS LambdaとStep Functionで自動化する
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
Scotty を利用した "ゆるふわ" Web サービス作成
Scotty を利用した "ゆるふわ" Web サービス作成
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
コンテナベースサーバーレスプラットフォーム「Knative」はServerlessなのか?
API Gatewayで re:Inventのセッション探し
API Gatewayで re:Inventのセッション探し
Similar to Active job meets kubernetes
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
emasaka
成長を加速する minne の技術基盤戦略
成長を加速する minne の技術基盤戦略
Hiroshi SHIBATA
変化するサービスとチームを支える
Ansible 2.0を使って組む kubernetesクラスタ vol.1
Ansible 2.0を使って組む kubernetesクラスタ vol.1
Hidetoshi Hirokawa
Ansible Meetup in Tokyo 2015.09 発表資料
Redux, Relay, HorizonあるいはElm
Redux, Relay, HorizonあるいはElm
chuck h
かつて大人気であったMVCパターンに対して、最近のフロントエンド界隈ではすっかりポピュラーになったUIコンポーネント設計。 しかし国内のフロントエンド界隈では、React + Reduxの組み合わせが圧倒的に人気であるように思えます。今回はコンポーネント設計の別手段として、Relay, Horizon そしてElmについてカンタンな比較を行いたいと思います。
AWSで開発するサーバレスAPIバックエンド
AWSで開発するサーバレスAPIバックエンド
暁 三宅
[Serverless Meetup Tokyo #14](https://serverless.connpass.com/event/143446/)で発表した資料。
REACT & WEB API
REACT & WEB API
Shigeru Kondoh
React と Web API の簡単な紹介
Shinjuku.rb #29 ActiveJobでSQS使ったのとその永続化についての話
Shinjuku.rb #29 ActiveJobでSQS使ったのとその永続化についての話
Takeuchi Yuichi
ActiveJob プロセス管理ツール ServerEngine のはなし
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
Yuuki Namikawa
Developers Summit 2012 【16-C-2】
らくちん Go言語
らくちん Go言語
株式会社YEBIS.XYZ
OpenWhisk - Docker action で MeCab を動かす
OpenWhisk - Docker action で MeCab を動かす
KUNITO Atsunori
English version is HERE. https://www.slideshare.net/KUNITOAtsunori/mecab-in-docker-actionopenwhisk OpenWhisk(IBM Cloud Functions) の Docker action で MeCab を動かしてみた。 2017.10.19 BMXUGつきじでの発表資料です。
AKS と ACI を組み合わせて使ってみた
AKS と ACI を組み合わせて使ってみた
Hideaki Aoyagi
2018/06/23 「JAZUG熊本 (くまあず) :九州JAZUG連動企画 Day2」 で発表した資料です
サバカン屋のサバ缶はre:Inventで通用したのか&すぐに使える!最新運用ネタ #re:Port2016
サバカン屋のサバ缶はre:Inventで通用したのか&すぐに使える!最新運用ネタ #re:Port2016
Kohei Hoshi
サバカン屋のサバ缶はre:Inventで通用したのか&すぐに使える!最新運用ネタ #re:Port2016
Visual studio 14 CTP2 概要
Visual studio 14 CTP2 概要
Yoshihisa Ozaki
NSStudy でやったVS "14" CTP2 の概要説明です。 http://nsstudy.connpass.com/event/7612/
ゲームのインフラをAwsで実戦tips全て見せます
ゲームのインフラをAwsで実戦tips全て見せます
infinite_loop
AWS でゲームのバックエンドを構築運用してきた中での実戦でのノウハウを紹介します。HTTP な API サーバーと、TCP/UDP なリアルタイムサーバーでの Tips を紹介します。
Node.jsとAWS入門(Elastic Beanstalk & AWS SDK for Node.js)
Node.jsとAWS入門(Elastic Beanstalk & AWS SDK for Node.js)
崇之 清水
大阪Node学園5で発表した資料です。 AWS初心者向けに、AWS Elastic BeanstalkとAWS SDK をNode.jsと合わせて解説します。
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
recotech
2018年12月12日 Reco choku tech night #09 -reinvent2018報告会- のレコチョク報告資料です。
React Native GUIDE
React Native GUIDE
dcubeio
React Native 入門用の話がそこそこ 裏側を覗く部分がメインです 以下のコードの解説をしています - react-native init - react-native run-ios
API Gateway / AWS CLI
API Gateway / AWS CLI
Operation Lab, LLC.
11/23開催したJAWS-UG CLI #33での発表資料です。 コマンドは網羅しておらず、暫定版です。
Openshift 20191121
Openshift 20191121
Yasushi Osonoi
OpenShift Seminar on 11/21/2019
OpenStack API
OpenStack API
Akira Yoshiyama
OSS推進フォーラム 若手勉強会 2012/10/26 の資料です。
Similar to Active job meets kubernetes
(20)
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
ゲットーの斜め上をゆくWebアプリケーションフレームワークの開発
成長を加速する minne の技術基盤戦略
成長を加速する minne の技術基盤戦略
Ansible 2.0を使って組む kubernetesクラスタ vol.1
Ansible 2.0を使って組む kubernetesクラスタ vol.1
Redux, Relay, HorizonあるいはElm
Redux, Relay, HorizonあるいはElm
AWSで開発するサーバレスAPIバックエンド
AWSで開発するサーバレスAPIバックエンド
REACT & WEB API
REACT & WEB API
Shinjuku.rb #29 ActiveJobでSQS使ったのとその永続化についての話
Shinjuku.rb #29 ActiveJobでSQS使ったのとその永続化についての話
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
らくちん Go言語
らくちん Go言語
OpenWhisk - Docker action で MeCab を動かす
OpenWhisk - Docker action で MeCab を動かす
AKS と ACI を組み合わせて使ってみた
AKS と ACI を組み合わせて使ってみた
サバカン屋のサバ缶はre:Inventで通用したのか&すぐに使える!最新運用ネタ #re:Port2016
サバカン屋のサバ缶はre:Inventで通用したのか&すぐに使える!最新運用ネタ #re:Port2016
Visual studio 14 CTP2 概要
Visual studio 14 CTP2 概要
ゲームのインフラをAwsで実戦tips全て見せます
ゲームのインフラをAwsで実戦tips全て見せます
Node.jsとAWS入門(Elastic Beanstalk & AWS SDK for Node.js)
Node.jsとAWS入門(Elastic Beanstalk & AWS SDK for Node.js)
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
React Native GUIDE
React Native GUIDE
API Gateway / AWS CLI
API Gateway / AWS CLI
Openshift 20191121
Openshift 20191121
OpenStack API
OpenStack API
More from Yasutomo Uemori
GCP・GKEで作るスケーラブルなゲーム開発環境
GCP・GKEで作るスケーラブルなゲーム開発環境
Yasutomo Uemori
GCPUG Kansai Summit Day 2018での登壇スライドです https://gcpug-osaka.connpass.com/event/103023/
サービスクラス、その前に
サービスクラス、その前に
Yasutomo Uemori
Rails Developer Meetup2018 Day2のスポンサーセッション時のスライドです。 https://techplay.jp/event/655769
Rails on Dockerとの戦い
Rails on Dockerとの戦い
Yasutomo Uemori
Rails Developer Meetup2017でのLTのスライドになります
Rubocopとの付き合い方
Rubocopとの付き合い方
Yasutomo Uemori
第78回ruby関西での登壇資料です。 https://rubykansai.doorkeeper.jp/events/62491
オンラインゲームのRails複数db戦略
オンラインゲームのRails複数db戦略
Yasutomo Uemori
rails developers meetup登壇資料 https://rails-developers-meetup.connpass.com/event/55363/ https://rails-developers-meetup.connpass.com/event/55436/
Rails api way in aiming
Rails api way in aiming
Yasutomo Uemori
「ゲーム開発の【ごっついい感じ】 ~ ソーシャルゲーム開発で使える 『ゲームAPI開発』 ~ ビヨンド勉強会 #7」での発表資料です。 https://beyond.doorkeeper.jp/events/56002
ゲーム会社でのRuby : rails活用事例
ゲーム会社でのRuby : rails活用事例
Yasutomo Uemori
第76回Ruby関西での発表で使ったスライドです https://rubykansai.doorkeeper.jp/events/55398
More from Yasutomo Uemori
(7)
GCP・GKEで作るスケーラブルなゲーム開発環境
GCP・GKEで作るスケーラブルなゲーム開発環境
サービスクラス、その前に
サービスクラス、その前に
Rails on Dockerとの戦い
Rails on Dockerとの戦い
Rubocopとの付き合い方
Rubocopとの付き合い方
オンラインゲームのRails複数db戦略
オンラインゲームのRails複数db戦略
Rails api way in aiming
Rails api way in aiming
ゲーム会社でのRuby : rails活用事例
ゲーム会社でのRuby : rails活用事例
Active job meets kubernetes
1.
ActiveJob meets Kubernetes Kubernetes Meetup
Osaka #1 LT 植森 康友(wakaba260)
2.
me.inspect => { “HN”: "wakaba260", “name”:
"Yasutomo Uemori", “company”: "株式会社Aiming", “twitter”: "https://twitter.com/wakaba260yen", “github”: "https://github.com/yuemori", “skills”: ["rails api", "docker", "kubernetes", "GCP"] }
3.
ActiveJob?
4.
ActiveJob(Rails) - Ruby on
Railsの非同期ジョブの仕組み - Adapterを実装することでなんでもバックエンドに出来る - 現在の主な実装例 - Sidekiq, Resque: ruby製のjob queue worker - Shoryuken: Amazon SQSをメッセージキューに使える
5.
ActiveJobの使用例 class GuestsCleanupJob <
ApplicationJob queue_as :default def perform(*args) # 後で実行したい作業をここに書く end end # 「キューイングシステムが空いたらジョブを実行する」とキューに登録する guest = Guest.find(guest_id) GuestsCleanupJob.perform_later(guest)
6.
Rails on Kubernetesでのジョブの運用 -
SidekiqのworkerをDeploymentで立てる - ジョブキューのBackendにredisを立てる - replicas指定でworker数を増やしてスケールアウト
7.
唐突な思いつき - Sidekiqのworkerのスケールアウトを考えるとCPU使用率などでは 上手くスケールできない - Kubernetesには既にJobという仕組みがある -
リトライ、タイムアウトなど機能も充実 - Kubernetes Jobを使うことでいい感じにスケールできそう
8.
作ってみた https://github.com/yuemori/kube_queue/
9.
# app/jobs/print_message_job.rb class PrintMessageJob
< ApplicationJob include KubeQueue::Worker worker_name 'print-message-job' image "your-registry/your-image" container_name 'your-container-name' def perform(payload) logger.info payload[:message] end end PrintMessageJob.perform_later(message: ‘hello!’)
10.
class ComputePiJob <
ApplicationJob include KubeQueue::Worker worker_name 'pi' image 'perl' container_name 'pi' command "perl","-Mbignum=bpi","-wle","print bpi(2000)" cpu_limit '0.3' cpu_request '0.2' memory_limit '100m' memory_request '50m' end
11.
kube_queueの実装 - perform_laterを呼んだら指定されたJobを起動 - やってることはJob作成のAPIを呼ぶだけ
12.
やってみてわかったこと - スケールアウトがworkerのreplica数からリソースに依存するように なった - KubernetesのAPI経由でコンテナを呼ぶことで、プラットフォームや 言語に依存せずにコンテナの恩恵を享受できる -
KubernetesのAPIを呼ぶことでいろいろ面白いことが出来るので、 活用する機会があれば試していきたい
13.
ご静聴ありがとうございました
Download now