Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

OSS運用管理勉強会 cockpit

764 views

Published on

「クラウド時代のIT運用管理 - OSSツールは商用ツールに追いついたか?」の"新管理ダッシュボード"Cockpit"搭載により、更に進化する高機能ジョブ管理ツール「JobScheduler」"で発表した内容です。

Published in: Technology
  • Be the first to comment

OSS運用管理勉強会 cockpit

  1. 1. 新管理ダッシュボード"Cockpit“ 搭載により、更に進化する高機能 ジョブ管理ツール「JobScheduler」 TIS株式会社 安達貴志 1
  2. 2. アウトライン • 自己紹介 (1分) • 今日の目的 (1分) • JobSchedulerの概要 (15分) • アーキテクチャ • 実績 • 特徴紹介 • Cockpitについて (15分) – 特徴紹介 – 検証/使い方の公開について • 宣伝 (5分) 2
  3. 3. Self-Introduction 3
  4. 4. 自己紹介 • TIS株式会社 OSS推進室 安達貴志 @papa_dacchi – 元々はセキュリティ専攻(drive-by-download攻撃) – 2年目 – 業務 • OSSのサポート(JobScheduler, Zabbix, Hinemos他) • OSSの構築案件(Hinemos,Zabbix等) • OSSの検証(JobScheduler, Docker, Zabbix) – AWS Partner SA ブログの[OpsJAWS: やってみようシリーズ] AWS Lambda × Zabbix (作成中) • 興味があること – JobScheduler, Docker, OpenStack, Terraform, Ansible. 機械学習系(TensorFlow, Scikit-Learn, …),AngularJS2 – つまるところ、基盤系の業務を自動化したい 4
  5. 5. Goal 5
  6. 6. ①JobSchedulerを知る – 高機能 ②Cockpitにより進化し続けるJobScheduler – 情報の見える化 ③使ってみる/深く知る 6
  7. 7. JobSchedulerを知る 7
  8. 8. JobSchedulerとは ジョブの実行/管理をするためのOSS 8 JobSchedulerサーバからエージェント もしくはSSHを介してジョブを実行する ジョブの実行 ジョブの実行 JobScheduler SSHのみ エージェント
  9. 9. 基本用語 9 ジョブ: Standalone Job: 単体で動作するジョブ Order Job: ジョブチェインの中に組み込むジョブ。 (ジョブと言えば通常はこっち) ジョブチェイン: 複数のジョブをまとめたもの オーダ( =トリガー): ジョブチェインを起動させるための仕組み。パラメータや開始時刻を設定できる プロセスクラス: ジョブの実行先を定義したファイル (オーダ) ジョブA (オーダ) ジョブB (オーダ) ジョブC ジョブチェイン オーダ プロセスクラス
  10. 10. アーキテクチャ 10 ジョブ管理GUIジョブエディタ ・ジョブの定義ファイル ・ジョブの実行先定義 ・スケジュール 実行履歴等 JobScheduler エージェント エージェントレス (SSH) JobScheduler
  11. 11. 実績 11 カード決済サービス大手(ドイツ) トロント大学(カナダ) ノースカロライナ州 保険福祉サービス機関(USA) バイエル薬品(ドイツ) 欧米の大手企業への豊富な実績あり 他にも、 国内某大手通信キャリア/大手メーカ による採用あり
  12. 12. 特徴一覧 12 Active ActiveジョブA ジョブCジョブB ジョブの制御と管理 クロスプラットフォーム GUI プログラム インタフェース JobScheduler サーバ/エージェント 冗長化構成 基本機能 独自機能 Web API JobScheduler
  13. 13. 基本機能: サーバ/エージェント • JobSchedulerサーバ: 無料 – ジョブの実行制御及び管理を行う • JobSchedulerエージェント: (ver1.10以降は有償) – エージェント上でジョブの実行を行う – 無償版はジョブの多重起動が不可 • 30日間のトライアルライセンスあり 13
  14. 14. 基本機能: クロスプラットフォーム 14 SSHのみ 他、Solaris/Unix等 UNIX コンテナでも動きます
  15. 15. 基本機能: GUI 15 ジョブエディタ WebGUIによるジョブ管理
  16. 16. 基本機能: 多彩なジョブの制御と管理 16 ジョブA ジョブCジョブB ジョブD 並列実行/同期 ジョブA ジョブB 排他制御 ジョブA ジョブB 繰り返し ジョブA ジョブの多重制御 他、優先度設定等 ジョブA ジョブBジョブB ジョブの共通化 ジョブB ジョブC 実行可能数2
  17. 17. 基本機能: 冗長化/ロードバランス 17 ジョブB ジョブD ジョブC ジョブA ジョブ実行先の負荷分散 エンタープライズにも対応 冗長化構成 JobSchedulerサーバ
  18. 18. 基本機能: Web API 18 APIによって他システムと連携可能 API オリジナルの ジョブ管理画面 API JobScheduler API
  19. 19. 特徴一覧(再掲) 19 Active Active ジョブA ジョブCジョブB ジョブの制御と管理 クロスプラットフォーム GUI JobScheduler サーバ/エージェント 冗長化構成 基本機能 プログラム インターフェース 独自機能 Web API JobScheduler 必要な機能はひと通り 揃っている
  20. 20. 独自機能: プログラミングインターフェース(1/4) 20 PowerShell 様々な言語でジョブ制御用APIを使って、 臨機応変なジョブの作成・制御ができる シェルスクリプト 他、VBScript/Javax/.net
  21. 21. 独自機能: プログラミングインターフェース(2/4) 21 通常時 ジョブA 異常Aの検知 ジョブB ジョブBの 実行対象を追加 異常Bの検知 ジョブA ジョブBをスキップ 異常Cの検知 ジョブB ジョブαの スケジュールを変更 ジョブB ジョブα ジョブC より具体的にジョブフローレベルで見ると・・・ ジョブB
  22. 22. 独自機能: プログラミングインターフェース(3/4) 22 ジョブ 異常A 異常B 異常C 正常 パターン数分、 事前定義する switch (exit_code) { case 1: //異常A ・・・ case 2: //異常B ・・・ case 3: //異常C ・・・ default: //想定外の異常 } さくっと パターン定義 例. spooler.job(‘Job‘+exit_code). start(); ジョブ名の名前を“Job”+ 連番にしておけば、連番分の パターンの定義が可能 通常のジョブ管理ツール JobScheduler
  23. 23. 独自機能: プログラミングインターフェース(4/4) ジョブの定義やスケジュール、 待ち条件等も動的に変更可能 ジョブ ジョブαのスケジュールを 2:00から4:00に変更 ジョブβの待ち条件を変更 正常 ジョブα 2:00 4:00 ジョブβ ジョブγ 23 異常
  24. 24. 特徴一覧(再掲) 24 Active Active ジョブA ジョブCジョブB ジョブの制御と管理 クロスプラットフォーム GUI プログラム インターフェース JobScheduler サーバ/エージェント 冗長化構成 基本機能 独自機能 Web API JobScheduler 標準機能 + APIによる ジョブ制御のプログラム化
  25. 25. ○機能豊富 ○他システムとの連携もOK ○ジョブをプログラムで制御 25 1つだけ欠点が・・・
  26. 26. 管理画面が分かりづらい 26 ジョブの実行予定表示だが、 単なるHTMLの表 ジョブの構成が 一見しただけでは分からない エージェントが落ちているためジョブ実行 に失敗しているが、稼働状況が見れない
  27. 27. 10月末に 新しい管理用GUIが リリース(予定) 27
  28. 28. ①JobSchedulerを知る – 高機能 ②Cockpitにより進化し続けるJobScheduler – 情報の見える化 ③使ってみる/深く知る 28
  29. 29. Cockpitにより 進化し続けるJobScheduler 29
  30. 30. Update 30 非公開の最新情報をご紹介します (OSSラボ(株)の船井社長にご提供いただきました) ※9/1時点の情報のため、リリース版とは異なる可能性があります
  31. 31. 特徴(予定) • WebGUIの刷新 – ダッシュボード(スクリーンショット有) • クラスタ&エージェントのステータス表示 • エージェントの稼働状況 – 各種情報のグラフ化(スクリーンショット有) • ジョブ、ジョブチェイン • カレンダや実行履歴 – 関連するオブジェクトへのリンク(スクリーンショット有) – 検索 & フィルタリング機能追加(スクリーンショット有) – モバイルデバイスへの対応 • ユーザアクセス制御の追加 31
  32. 32. 32 ログイン 今まではログイン画面なし(Basic認証もしくはLDAPとの連携をさせる必要あり) ローカル認証: Apache Shiro(build in) リモート認証: OpenLDAP/Active Directory ユーザ認証画面
  33. 33. 33 Operator: ○ログの閲覧 ×サービスの起動/停止 Application Manager: ○ログ閲覧&カテゴライズ ×サービスの起動/停止 Administrator: ○ほぼ全て ×ログのカテゴライズ ロール毎に 操作可能な内容を 制御可能 ロールによるユーザ制御
  34. 34. 34 ダッシュボード JobSchedulerサーバ及び DBのステータス サーバの選択 エージェントの状態 オーダのステータス 以前はダッシュボードなし
  35. 35. 35 エージェントの状態表示 エージェントのステータス Total Agents: プロセスクラスの総エージェント数 Running Agents: 稼働可能なエージェント数 Not Reachable: 稼働不可能なエージェント数 Scheduling Type: ジョブを均一に割り振るか、 利用可能なエージェントに割り振るか 以前は エージェントの状態は見れず・・・
  36. 36. 36 オーダ表示 オーダの状況が 一目で分かる コンテキストメニューが 項目が増加
  37. 37. 37 ジョブチェイン OverView(カード表示) ツリー構造よりも 見やすくなります
  38. 38. 38 ジョブチェインのリアルタイムフロー 直感的なジョブの操作 (Start/Stop/Skip) ジョブチェインの リアルタイムフロー Before
  39. 39. 39 ジョブチェインの実行状況 オーダの成功率 ジョブチェインの進捗状況 オーダの統計 ジョブチェインのツリー表示
  40. 40. 40 ジョブの実行状況のツリー表示 ジョブの予定開始時刻と 予定終了時刻ジョブの実行状況 ジョブの実行先サーバ名
  41. 41. 41 フィルタリング 一般的な フィルタリングが可能になる Before
  42. 42. 42 ジョブ・ジョブチェインからオーダ・スケジュールを 参照可能にできるようになる オブジェクトの相互参照 このジョブチェインを 起動させたオーダの 一覧表示
  43. 43. 43 実行予定の カレンダー表示 カレンダー Before
  44. 44. 補足: アーキテクチャ 44 Nginx/AngularJS Cockpit単体の導入が可能
  45. 45. 検証結果と使い方を 弊社WebサイトおよびITメディアで公開予定 Cockpitリリース: 10月末 検証結果公開: 11月初旬 45 弊社Webサイト: http://www.tis.jp/service_solution/jobscheduler/
  46. 46. まとめ • WebGUIの刷新 – ダッシュボード – 各種情報のグラフ化 – 関連するオブジェクトへのリンク • ユーザアクセス制御の追加 46
  47. 47. ①JobSchedulerを知る – 高機能 ②Cockpitにより進化し続けるJobScheduler – 情報の見える化 ③使ってみる/深く知る 47
  48. 48. 使ってみる/深く知る 48
  49. 49. 使ってみる@構築 アンケートの設問2の記入欄に 「構築手順書希望」と書いていただければ、 メールで送付させていただきます。 49
  50. 50. 深く知る@日本JobSchedulerユーザグループ &海外コミュニティ 50開発者の方が直々に回答をくれる(1-2日で回答もらえました) OSSラボ(株)船井社長による回答あり 海外コミュニティ(Source Forge) 日本JobSchedulerユーザ会
  51. 51. エンタープライズサポートの紹介 51 JobScheduler、Zabbix、Hinemos、 PostgreSQL 、OTRS、etc… 無料で実施 ・訪問による製品説明会、デモ実施 ・導入やコストに関する個別相談 その他色々・・・
  52. 52. AWS × Zabbix はじめました 52 AWSとZabbixを連携させるための拡張開発 & 保守サポートサービス http://aws.typepad.com/aws_partner_sa/2016/09/opsjaws-try-ops-with-zabbix-4.html
  53. 53. 今時の企業情報システム運用、知らない と 損をするオンプレとAWSのつきあい方 ~ 情報システム部門の方々に贈るTISからのメッセー ジ ~ 9月15日(木) 14:30〜 西新宿 http://www.tis.co.jp/seminar/ 1 オンプレとAWSを組み合わせた運用管理の 勘所 TIS 2 クラウド-オンプレミス ハイブリッド環 境との向き合い方 TIS 3 サービス型で実現する運用管理のすすめ TIS 4 WSから見た、クラウドとオンプレミスと の使い分けと、クラウドの監視サービスの 紹介 アマゾンウェブサービスジャ パン 5 Q&A
  54. 54. 9/29 Zabbixパートナー会主催ビジネスセミナー 企業での採用が益々進むOSS統合監視ソフトウェア「Zabbix」。 本セミナーでは、Zabbixを企業で活用するためのノウハウを中心にご紹介します。 9/9~9/10にラトビアにて開催されるZabbixカンファレンスの最新情報もお届けします。 開催日時 2016/9/29(木) 15:00~18:00 (14:30~受付開始) 開催場所 ハロー貸会議室秋葉原駅前 http://www.hello-mr.net/detail/?obj=122 参加費用 無料 主催・協賛 主催: 株式会社オープンソース活用研究 協賛: Zabbix Japan LLC、TIS株式会社、SRA OSS, inc. 日本支社、株式会社システナ、株式会社ヴィンクス イベントページ https://osslabo.doorkeeper.jp/events/51648 講演内容 [講演1] Zabbixを用いたマルチクラウド・ハイブリッドクラウド環境の効果的な統合監視 TIS株式会社 OSS推進室 池田 大輔 [講演2] Fluentd + Zabbix + Grafana で監視システムを構築してみよう SRA OSS, inc. 日本支社 盛 宣陽 [講演3] 商用監視ツールからZabbixへ移行と、運用監視アウトソーシング 株式会社システナ 土屋 俊介 [講演4] Zabbixの可能性を更に拡大、機能強化 株式会社ヴィンクス 赤松 正浩 [講演5] Zabbix Conference 2016@ラトビア 最新速報 Zabbix Japan LLC 代表 寺島 広大 54
  55. 55. 10/19 JobSchedulerユーザカンファレンス 高機能で自由度の高いOSSのジョブ管理ツールとして注目が高まっているJobScheduler。 JobSchedulerの日本のユーザ会主催でカンファレンスが開催されます。 導入事例や最新の開発情報、活用のノウハウなど様々な情報をセミナー形式でお届けします。 開催日時 2016/10/19(水) 午後 (セミナータイムスケジュールは現在調整中) 開催場所 NHNテコラス株式会社 https://nhn-techorus.com/company/access.html 参加費用 無料 主催 日本JobSchedulerユーザグループ(https://sites.google.com/site/jobschedulerja/home) イベントページ 準備中.. 講演内容 講演内容調整中.. ・JobScheduler最新情報のご紹介 ・JobScheduler導入事例のご紹介 ・JobScheduler最新版 v1.11検証報告 ・JobScheduler活用ノウハウ等のご紹介 等検討中 55
  56. 56. 参考文献・その他 • JOC - Cockpit – https://kb.sos-berlin.com/display/PKB/JOC+- +Cockpit • 日本JobSchedulerユーザグループ – https://sites.google.com/site/jobschedulerja/home • Sourceforge JobScheduler – https://sourceforge.net/projects/jobscheduler/ 56

×