とある社内ビックデータ基盤にバッチ用コンテナ基盤を構築してみた

とある社内ビックデータ基盤に
バッチ用コンテナ環境を構築してみた
Created by Hiroshi Toda ( @thiro1123 )

普段からコンテナつかっていますか？

現場でコンテナを使ってアプリのデプロイ
してたりしますか？

自己紹介
戸田浩史
独立して5年目のフリーランスです
現在のユーザは社内クラウドの利用を推進しているチームで
ビジネスのスピードを殺さずにセキュリティを担保する環境を展開
してます。
好きなAWS：ECS

今回の話はコンテナ環境を他プロジェクトに
導入する時に、やった（ている）事です。

話す内容としては
なんで導入する事になったの？
解決したかった問題は？
どのようにすすめた（ている）の？

なんで導入することになったの？

プロジェクトで発生していた問題
日々バッチがうまく動作しない!
あれ修正するためにアップデートしてみたら、
さらに他のバッチも動かなくなった
＼(^o^)／ｵﾜﾀ
事業側の担当者に怒られる orz
むしろ怒られてから障害に気づく。。。

なんでこんなことになるんだ・・・

どんな状況か・・・
動いているバッチの数が半端ない。
管理しているサーバ数も半端ない
ジョブ管理ソフトで管理しているが追いつかない。
アラートも見ようとしているしモニタリングもしようとしているが
数が半端ない

どうやらとてつもなく複雑怪奇な状況らしい

なんで導入することになったの？(再)

まず手始めにどうにかしたい問題
バッチが普通に動いてほしい。
バージョンアップとか安全にしたい。
今動いているバッチの邪魔をしない。
手軽にバッチを増やしたい。
素早くバッチを展開したい。
できればローカルでもサーバ上でも同じように動いて欲しい。

現在は、新しい事したらその倍の問題が発生しない環境

うーん？
さてどうしたものか・・・

少しだけコンテナのおさらい
コンテナって？
Source:https://www.docker.com/what‑container

やりたいことは・・・
何でアプリは動かなくなるの？
ライブラリとか色々とごちゃごちゃしているから・・・
じゃあ、各アプリのライブラリが依存しないようにすれば
いいの？

自分の隣のいる社員さんに
自分：ライブラリの競合とか気にしたくないなら
コンテナ使うのはどうですか？
社員さん：いいね！（了承3秒）

現場からは
現場からは以下のような要望も一緒にあがってました。
オンプレミスに在るとあるジョブ管理システム（JP1）から
バッチを管理したい。
バッチの実行も結果の取得もオンプレ側でできる様になって欲しい。

これらの要望を応えるためのコンテナ環境を構築してみました。

デプロイや環境構築はJenkinsのジョブでほぼ用意

現在は・・・
今はこの使ってバッチをオンプレからAWSに移行している最中
導入されたチームに対して、コンテナや今回の仕組みに
参考となるソースを共有
自分が所属しているチームは他プロジェクトの
進化を手助けするため日々活動中

Recommended