SlideShare a Scribd company logo
1 of 103
Download to read offline
CyberAgentのプライベートクラウド
Cycloudの運⽤及びモニタリングについて
株式会社サイバーエージェント 技術本部 プライベートクラウドグループ
Nakanishi Kento @whywaita
Cloud Operator Days Tokyo @ / /
Nakanisi Kento / whywaita
• CyberAgent, Inc. Private Cloud Group from
• 業務: OpenStack / Kubernetes を使った新機能開発
• 趣味: ⾃宅インフラ / アニソン
• 在宅勤務で業務中にスピーカーから
⾳を流せるのは嬉しい!!
@whywaita
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
CyberAgentにおけるプライベートクラウド
5
•プライベートクラウド部署
•メディア事業部
•ブログなどメディア系事業 (ex: Ameba) 向け
•発表者 whywaita はこちら
•AI事業本部
•広告事業など 向け
CyberAgentにおけるプライベートクラウド
6
•プライベートクラウド部署
•メディア事業部
•ブログなどメディア系事業 (ex: Ameba) 向け
•発表者 whywaita はこちら
•AI事業本部
•広告事業など 向け
メディア事業部向けプライベートクラウド
7
•データセンタ運⽤開始 (2004年頃〜)
•OpenStack Diablo
•Clover (⾃作クラウドコントローラ)
•現在: TKY / TKY ( . 〜)
•TKY OpenStack Queens
•Compute Node: 約250台
Cycloud
8
•Cy(berAgent)cloud
•特徴
•各種コンポーネントのAPI化
•Cloud / Firewall / IPAddress / LoadBalancer / etc
•性能に対するコストパフォーマンス (Public⽐)
•運⽤者が「つらくない」プライベートクラウド
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
プライベートクラウドの「つらい」
10
•いつまでもつきまとう物理資産の管理
•「この在庫どこにいったの??」
•「配線どうなってるんだ…」
•壊れ続けるCompute Nodeたち
•「すぐ保守依頼出さなきゃ…」
•「AWS / GCPならできるのに…」
11
ぴえん
(; _ :)
社内Slackのemoji
12
使⽤例
13
よろしくお願いします
14
プライベートクラウドは
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
16
物理の管理、どうしてますか?
物理管理のやり⽅?
17
•魔法のExcelシートを気合でメンテ?
•販管システムから頑張って引っ張ってくる?
•買った時のメールを探し出して⾒積書と突合?
•IPAMに全部記載?
18
ですよね
頑張って資材を特定できても
19
配線どうするんだっけ?
シリアル番号打ち間違えてた…
IPMI空いてるIPどこ?
サービス⽤とIPMI⽤でIPアドレス
逆に設定しちゃった…
起動しないけど理由がサッパリ…
20
21
そこに救世主到来✨
Bearman
22
•Django製 Baremetal 管理 (manager) ツール
•物理サーバの管理
•UUID / hostname
•Flavor (起動するOSの指定)
•ComputeNode, Cinder, Software LoadBalancer
•Network (VLAN, IPMI, IP Address)
Bearman
23
•Node: 物理サーバそのもの
•Profile: OSの起動定義
•Flavor: NodeとProfileの紐付け
•Network: VLAN / CIDR / GW などの情報
•Tenants: NetworkとFlavorの紐付け
•Baremetals: 実際に起動しているNode情報
Bearman
24
Bearmanによる在庫管理 - 登録編
25
Bearmanによる在庫管理 - 登録編
26
. iPXEによるブート (CentOS)
. autorun.service が起動
. BIOS / NICのファームウェアバージョンチェック and アップ
. lldpd によって近傍スイッチ情報をチェック
. dmidecode コマンドでHW情報をチェック
. Bearmanに登録 / IPMI設定
. CentOS シャットダウン!
Bearman / Node
27Bearmanの管理下にある物理サーバ群
Bearmanによる在庫管理 - 登録編
28
Node
初回ブート (iPXE)
PXEブートによって起動
→iPXEに切替
Bearmanによる在庫管理 - 登録編
29
CentOS
1段階⽬OS
autorun.service
メタ処理⽤の
autorun.service
起動
Bearmanによる在庫管理 - 登録編
30
CentOS
autorun.service
新規登録⽤
register.sh 取得 & 実⾏
object storage
1段階⽬OS
Bearmanによる在庫管理 - 登録編
31
. iPXEによるブート (CentOS)
. autorun.service が起動
. BIOS / NICのファームウェアバージョンチェック and アップ
. lldpd によって近傍スイッチ情報をチェック
. dmidecode コマンドでHW情報をチェック
. Bearmanに登録 / IPMI設定
. CentOS シャットダウン!
register.sh の職務
Bearmanによる在庫管理 - 登録編
32
CentOS
autorun.service
Bearmanに登録
※正確にはregister.shで取得した
bearman-cli (by Go)
Bearman
1段階⽬OS
register.sh
https://bearman-grpc.example.com/
Bearmanによる在庫管理 - 登録編
33
CentOS
autorun.service
Bearman
1段階⽬OS
register.sh
新規にNodeとして保存
Bearman DB
Node (UUID: xxx)
Bearman / Node
34
Bearman / Node
35
Bearmanによる在庫管理 - 登録編
36
CentOS
autorun.service
Bearman
1段階⽬OS
register.sh
②BearmanがIPMI IPを
アサイン
IPman
①IP払い出し
Bearmanによる在庫管理 - 登録編
37
CentOS
autorun.service
Bearman
1段階⽬OS
register.sh
アサインされた情報通り
IPMI情報を設定
IPman
BMC
Bearmanによる在庫管理 - 登録編
38
CentOS
autorun.service
Bearman
1段階⽬OS
register.sh
IPMI情報を設定し
シャットダウン
IPman
BMC
Bearmanによる在庫管理 - 登録編
39
CentOS
autorun.service
Bearman
1段階⽬OS
register.sh
IPman
BMC
• Node情報はBearmanから登録
• IPMIにてNodeに疎通可能
Bearmanによる在庫管理 - 起動編
40
Bearman / Profile
41Bearmanにて起動するOSの定義
Bearmanによる在庫管理 - 起動編
42
Real OS (Ubuntu)iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
Bearmanによる在庫管理 - 起動編
43
Real OS (Ubuntu)iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
2段階⽬には
⾃由なOSを選択可能
Bearman / Profile
44
Bearman / Profile
45
2段階⽬OS⽤
cmdline
Bearman / Profile
46
2段階⽬OS⽤
インストールスクリプト
Bearmanによる在庫管理 - 起動編
47
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
Cephからダウンロード
kexec.sh
Bearmanによる在庫管理 - 起動編
48
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
⾃分が起動するべき
OS情報をBearmanから
取得
kexec.sh
Bearman
Bearmanによる在庫管理 - 起動編
49
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
⾃分が起動するべき
OS情報をBearmanから
取得
kexec.sh
Bearman
https://bearman-grpc.example.com/ipxe/${uuid}
Bearmanによる在庫管理 - 起動編
50
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
kexec.sh
Bearman
https://bearman-grpc.example.com/ipxe/${uuid}
$ dmidecode -s “system-uuid”
にて決定
Bearmanによる在庫管理 - 起動編
51
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
kexec.sh
Bearman
• 順番にエンドポイントを叩く
• ${uuid}/profile
• 起動⽤のprofile
• ${uuid}/detail
• IPアドレス / bond IPアドレスなど
• ${uuid}/installed
• インストール完了をBearmanに通知
Bearman / Baremetal
52Bearmanにて起動したサーバ群
Bearmanによる在庫管理 - 起動編
53
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
kexec.sh
Bearman
• 順番にエンドポイントを叩く
• ${uuid}/profile
• 起動⽤のprofile
• ${uuid}/detail
• IPアドレス / bond IPアドレスなど
• ${uuid}/installed
• インストール完了をBearmanに通知
Bearman / Baremetal
54Bearmanにて起動したサーバ群
Bearmanによる在庫管理 - 起動編
55
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
kexec.sh
Bearman
• 順番にエンドポイントを叩く
• ${uuid}/profile
• 起動⽤のprofile
• ${uuid}/detail
• IPアドレス / bond IPアドレスなど
• ${uuid}/installed
• インストール完了をBearmanに通知
Bearman / Baremetal
56Bearmanにて起動したサーバ群
DEPLOY_START
DEPLOYING
UNRECOVERABLE_ERROR
など
Bearmanによる在庫管理 - 起動編
57
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
初回ブート 1段階⽬OS
kexec.sh
Bearman
このNodeが起動すべき
OS情報などを取得
Bearmanによる在庫管理 - 起動編
58
iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS
kexecのパラメータ組⽴
Bearmanによる在庫管理 - 起動編
59
Real OS (Ubuntu)iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
Bearmanによる在庫管理 - 起動編
60
Real OS (Ubuntu)iPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
ユーザ⽤の
2段階⽬OSが
起動成功🎉
Bearman のコンセプト
61
•No 現地作業
•ハードウェア構成の違いはソフトウェアで吸収
•利⽤者視点
•CLIツールでシステムを利⽤可能
•管理者視点
•データはDjango Adminで 閲覧/管理 可能
Bearman周辺の要素技術
62
•gRPC / Protocol Buffer
•データはDBの扱いが得意なPython(Django)に
•Baremetalからのアクセスはデプロイが楽なGoに
•ansible (ansible_connection=lxd) なイメージ⽣成
•kernel / initramfs / rootfs を⽣成してくれる君
•VM上で物理⽤イメージをansibleで⽣成できる!!
Bearmanのメリット
63
•運⽤時の確認事項が⼤きく削減
•適切に電源 / 光ケーブルを配線し電源ポチで 🙆
•設定に不備があった場合はSlack通知で⽬視確認不要
•トラシュもフル機能のbashを使って可能
•IPMI情報などが⾃動で登録、Web画⾯から参照可
•チームメンバー誰でも気軽に物理利⽤
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
65
👀監視👀してますか?
インフラ監視つらいあるある
66
•物理故障で紐付いてる監視全部発砲 😇
•付随してるメールサーバが耐えきれず 😇
•Slackに通知してたら投稿数多すぎて 😇
•メトリクスが多すぎて監視側の負荷が 😇
•監視サーバってどこまでやったら冗⻑って
⾔えますか?😇
67
ですよね
68
でもやらねばならぬ 🤢
69
便利なものにのっかろう ☺
70
最近の便利なもの
71
最近の便利なもの
Kubernetes
72
詳しくはbuilderscon tokyo のスライド参照
https://www.slideshare.net/whywaita/why-did-we-select-to-the-diskless-hypervisor-builderscon-
73
⾒てない⼈も多い(と思う)ので
おさらい
プライベートクラウド概要図
74
L Overlay Network (VXLAN on IP CLOS)
Compute
Node
Compute
Node
Compute
Node
k s
master
k s
master
Firewall
Load
Blancer
KVM / Container
Users
VM
Users
VM
Users
Service
nova
neutron
Container
KVM / Container
OpenStack
Controller
Container
other
Container
User
Components
OpenStack
Components
Physical
Components
Storage
プライベートクラウド概要図
75
L Overlay Network (VXLAN on IP CLOS)
Compute
Node
Compute
Node
Compute
Node
k s
master
k s
master
Firewall
Load
Blancer
KVM / Container
Users
VM
Users
VM
Users
Service
nova
neutron
Container
KVM / Container
OpenStack
Controller
Container
other
Container
User
Components
OpenStack
Components
Physical
Components
Storage
Kubernetes Node群
managed by Bearman
プライベートクラウド概要図
76
L Overlay Network (VXLAN on IP CLOS)
Compute
Node
Compute
Node
Compute
Node
k s
master
k s
master
Firewall
Load
Blancer
KVM / Container
Users
VM
Users
VM
Users
Service
nova
neutron
Container
KVM / Container
OpenStack
Controller
Container
other
Container
User
Components
OpenStack
Components
Physical
Components
StorageKubernetesのPod (コンテナ)として
OpenStack Componentsを起動
プライベートクラウド概要図
77
L Overlay Network (VXLAN on IP CLOS)
Compute
Node
Compute
Node
Compute
Node
k s
master
k s
master
Firewall
Load
Blancer
KVM / Container
Users
VM
Users
VM
Users
Service
nova
neutron
Container
KVM / Container
OpenStack
Controller
Container
other
Container
User
Components
OpenStack
Components
Physical
Components
StorageCompute Node上のnova-computeが
libvirtと連携しユーザVMを作成
ディスクレスハイパーバイザ
78
•物理サーバ = Kubernetes Nodeに
•OpenStack on Kubernetes
•OSを全てオンメモリに展開することで障害からの
復旧を簡易化
•Bearmanと連携し簡単安全にNodeを復活
•ストレージは全てNetwork経由
Bearmanによる在庫管理 - 起動編
79
Compute NodeiPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
メモリ上にOSを展開
Bearmanによる在庫管理 - 起動編
80
Compute NodeiPXE
kernel=
initramfs=
append=
CentOS
autorun.service
kexec
kernel=
initramfs=
append=
初回ブート 1段階⽬OS 2段階⽬OS
その上にユーザのVM
ストレージはiSCSI経由
Users VM
Users VM
Users VM
81
👀監視👀について
現⾏の監視概要
82
•Prometheus in Cycloud
• メリット
•Kubernetes との親和性 (native support)
•exporterの⾃⼰開発ができる (OSS format)
•ログ監視は現在なし (今回は詳細省略)
•fluentdにて集約サーバに送付
Prometheus
83
•Monitoring & Metrics ツール by Golang
•Graduated Project
by Cloud Native Computing Foundation
•Server → Agent なPull型
•動的な設定変更が標準で搭載
•通知は別コンポーネントにて⾏う
•AlertManager
現状の監視target数
84
現状のメトリクス数
85
現状のメトリクス数 (1 week)
86
現状のメトリクス数 (1 week)
87
新しいコンテナ群を
デプロイ
プライベートクラウド概要図
88
L Overlay Network (VXLAN on IP CLOS)
Compute
Node
Compute
Node
Compute
Node
k s
master
k s
master
Firewall
Load
Blancer
KVM / Container
Users
VM
Users
VM
Users
Service
nova
neutron
Container
KVM / Container
OpenStack
Controller
Container
other
Container
User
Components
OpenStack
Components
Physical
Components
StorageKubernetesのPod (コンテナ)として
exporterも起動
89
Prometheus  の管理
90
•OpenStack上のVMにデプロイ
•managed by terraform
•config管理はansible (jinja ) + GHE
•Service Discoveryは主にkubernetes_sd_configs
•⼀部 file_sd_configsもあり
Prometheus  の管理
91
Prometheus / Alert Manager
2300⾏ぐらい 🤯
⾃作exporter ⾊々あります
92
•rabbitmq-management-exporter
•go-opentack-exporter
•project-exporter
•OpenStackの課⾦情報取得⽤exporter
•libvirt_exporter
•NW-exporter
⾃作exporter
93
•PrometheusからのHTTPリクエストに対して、
⼀定のフォーマットに沿ってテキストをレスポンス
•意外と容易に実装が可能 🙆
•Webサーバならどんな⾔語でもOK
•Goだと便利ライブラリがあるので1番楽
•metrics formatになればなんでも監視可能 🙆
⾃作exporter モチベーション
94
世にexporterがまだ存在していない
発⽣した障害の再発検知に利⽤している
OSS exporterが⼤規模環境を考慮していない
libvirt_exporter
95
•OSS版 kumina/libvirt_exporter が存在
•libvirt XML に埋め込まれるnovaのattributeが 😫
•CPU Pinning の情報が 😫
•novaのPinning部分にバグがあり
障害発⽣したこともあるので監視したい!
•digitalocean/go-libvirt ベースに書き換え
dirty-flow-exporter
96
•Open vSwitchが挿⼊するflowがおかしい 🤔
•通信障害が発⽣ 😿
•オペレーションによりflowの修正を実⾏
•今後も不正なflowが組み込まれたら即検知したい
→ exporter書くぞ!!!!
※現在はこの障害は完全に解決しています
dirty-flow-exporter
97
. Prometheusからリクエスト
. ovs-ofctl dump-flows を実⾏ / パース
. dirtyなflowを検知したらその数をmetricsに
. metricsが1でも増えたらAlert発砲 💥
. Alertを確認して⼿動で削除
安⼼ 💯☺
Prometheusのメリット
98
•アプリケーションの正常性チェック
•全てmetricsに落とし込むことで管理が楽に
•⼈間のチェックだとどうしても漏れる
•事象の担保をPrometheusが⾏う
•⾃前exporterによって事象追跡も容易に
•「なにか起きてそう」がPromQLで可視化
99
インフラエンジニアが
安⼼して眠れる😴
.はじめに
.いままでのプライベートクラウド
.Cycloudにおける物理管理術
.Cycloudにおける監視術
.まとめ
まとめ
101
•Cycloudにて⽇々⾏っている運⽤ / 監視についてご紹介
•Bearmanによる⾃動物理管理システム
•Prometheusによる可視化システム
•低いレイヤでも上⼿くコード化することによって安全
に扱えるように
•今後も  しないような取組を続けていきます
宣伝
102
•We Are Hiring!
•⼀緒に問題に取り組む⽅を絶賛募集中
•インターンもお待ちしております
•     に  にインフラ提供をします
•絶賛いろいろ開発中です
•おたのしみに!
宣伝 (2)
103
併せてよろしくお願いします

More Related Content

What's hot

What's hot (20)

コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話
 
乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)
乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)
乗っ取れコンテナ!!開発者から見たコンテナセキュリティの考え方(CloudNative Days Tokyo 2021 発表資料)
 
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
 
コンテナネットワーキング(CNI)最前線
コンテナネットワーキング(CNI)最前線コンテナネットワーキング(CNI)最前線
コンテナネットワーキング(CNI)最前線
 
自宅k8s/vSphere入門
自宅k8s/vSphere入門自宅k8s/vSphere入門
自宅k8s/vSphere入門
 
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
 
10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPF10分でわかる Cilium と XDP / BPF
10分でわかる Cilium と XDP / BPF
 
TLS, HTTP/2演習
TLS, HTTP/2演習TLS, HTTP/2演習
TLS, HTTP/2演習
 
コンテナセキュリティにおける権限制御(OCHaCafe5 #3 Kubernetes のセキュリティ 発表資料)
コンテナセキュリティにおける権限制御(OCHaCafe5 #3 Kubernetes のセキュリティ 発表資料)コンテナセキュリティにおける権限制御(OCHaCafe5 #3 Kubernetes のセキュリティ 発表資料)
コンテナセキュリティにおける権限制御(OCHaCafe5 #3 Kubernetes のセキュリティ 発表資料)
 
実践イカパケット解析
実践イカパケット解析実践イカパケット解析
実践イカパケット解析
 
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
 
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjpKubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
 
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
 
実用段階に入ったOpenStack ~ もうすぐ絶滅するというPrivate Cloudの多様性について ~
実用段階に入ったOpenStack ~ もうすぐ絶滅するというPrivate Cloudの多様性について ~実用段階に入ったOpenStack ~ もうすぐ絶滅するというPrivate Cloudの多様性について ~
実用段階に入ったOpenStack ~ もうすぐ絶滅するというPrivate Cloudの多様性について ~
 
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーKubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
 
Kubernetesのワーカーノードを自動修復するために必要だったこと
Kubernetesのワーカーノードを自動修復するために必要だったことKubernetesのワーカーノードを自動修復するために必要だったこと
Kubernetesのワーカーノードを自動修復するために必要だったこと
 
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
 
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
 
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのかシリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
 

Similar to CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud

Jenkins User Conference 東京 2015
Jenkins User Conference 東京 2015Jenkins User Conference 東京 2015
Jenkins User Conference 東京 2015
Kohsuke Kawaguchi
 

Similar to CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud (20)

20141121 zabbix conference_japan_2014_nifty_kusakabe
20141121 zabbix conference_japan_2014_nifty_kusakabe20141121 zabbix conference_japan_2014_nifty_kusakabe
20141121 zabbix conference_japan_2014_nifty_kusakabe
 
ACI Kubernetes Integration
ACI Kubernetes IntegrationACI Kubernetes Integration
ACI Kubernetes Integration
 
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみたKubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
 
K8s install (single cluster)
K8s install (single cluster)K8s install (single cluster)
K8s install (single cluster)
 
ヤギにサーバーを管理してもらう話
ヤギにサーバーを管理してもらう話ヤギにサーバーを管理してもらう話
ヤギにサーバーを管理してもらう話
 
2015-07-27 Docker Introduction 〜Dockerの基礎とユースケースに関する考察〜
2015-07-27 Docker Introduction 〜Dockerの基礎とユースケースに関する考察〜2015-07-27 Docker Introduction 〜Dockerの基礎とユースケースに関する考察〜
2015-07-27 Docker Introduction 〜Dockerの基礎とユースケースに関する考察〜
 
2015-01-27 Introduction to Docker
2015-01-27 Introduction to Docker2015-01-27 Introduction to Docker
2015-01-27 Introduction to Docker
 
Docker & Kubernetes基礎
Docker & Kubernetes基礎Docker & Kubernetes基礎
Docker & Kubernetes基礎
 
第20回CloudStackユーザ会_ApacheCloudStack4.4新機能紹介
第20回CloudStackユーザ会_ApacheCloudStack4.4新機能紹介第20回CloudStackユーザ会_ApacheCloudStack4.4新機能紹介
第20回CloudStackユーザ会_ApacheCloudStack4.4新機能紹介
 
Introduction to Magnum (JP)
Introduction to Magnum (JP)Introduction to Magnum (JP)
Introduction to Magnum (JP)
 
Idcfクラウドで始める構築自動化
Idcfクラウドで始める構築自動化Idcfクラウドで始める構築自動化
Idcfクラウドで始める構築自動化
 
ネットワークエンジニアのための Puppet / Chef
ネットワークエンジニアのための Puppet / Chefネットワークエンジニアのための Puppet / Chef
ネットワークエンジニアのための Puppet / Chef
 
Jenkins User Conference 東京 2015
Jenkins User Conference 東京 2015Jenkins User Conference 東京 2015
Jenkins User Conference 東京 2015
 
楽天における安全な秘匿情報管理への道のり
楽天における安全な秘匿情報管理への道のり楽天における安全な秘匿情報管理への道のり
楽天における安全な秘匿情報管理への道のり
 
アプリ屋もDockerをドカドカ使おう ~ Docker入門
アプリ屋もDockerをドカドカ使おう ~ Docker入門アプリ屋もDockerをドカドカ使おう ~ Docker入門
アプリ屋もDockerをドカドカ使おう ~ Docker入門
 
Questetra ハンズオンセミナー 「ビギナー向け業務プロセス設計」 2014/05/12
Questetra ハンズオンセミナー 「ビギナー向け業務プロセス設計」 2014/05/12Questetra ハンズオンセミナー 「ビギナー向け業務プロセス設計」 2014/05/12
Questetra ハンズオンセミナー 「ビギナー向け業務プロセス設計」 2014/05/12
 
MasterCloud Docker Hands-on 20170725
MasterCloud Docker Hands-on 20170725MasterCloud Docker Hands-on 20170725
MasterCloud Docker Hands-on 20170725
 
講座Linux入門・サーバOSとしてのLinux
講座Linux入門・サーバOSとしてのLinux講座Linux入門・サーバOSとしてのLinux
講座Linux入門・サーバOSとしてのLinux
 
OpenStack本番環境の作り方 - Interop 2016
OpenStack本番環境の作り方 - Interop 2016OpenStack本番環境の作り方 - Interop 2016
OpenStack本番環境の作り方 - Interop 2016
 
20140612_Docker上でCloudStackを動かしてみる!!
20140612_Docker上でCloudStackを動かしてみる!!20140612_Docker上でCloudStackを動かしてみる!!
20140612_Docker上でCloudStackを動かしてみる!!
 

More from whywaita

最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
whywaita
 

More from whywaita (20)

Development myshoes and Provide Cycloud-hosted runner -- GitHub Actions with ...
Development myshoes and Provide Cycloud-hosted runner -- GitHub Actions with ...Development myshoes and Provide Cycloud-hosted runner -- GitHub Actions with ...
Development myshoes and Provide Cycloud-hosted runner -- GitHub Actions with ...
 
イベント企画運営の経験と実際 / The history of organizing events by me
イベント企画運営の経験と実際 / The history of organizing events by meイベント企画運営の経験と実際 / The history of organizing events by me
イベント企画運営の経験と実際 / The history of organizing events by me
 
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
 
#今日の食神 #dentoolt / today's shokujinjp
#今日の食神 #dentoolt / today's shokujinjp#今日の食神 #dentoolt / today's shokujinjp
#今日の食神 #dentoolt / today's shokujinjp
 
ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCO...
ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCO...ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCO...
ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCO...
 
Kubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tk
Kubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tkKubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tk
Kubernetesの良さを活かして開発・運用!Cloud Native入門 / An introductory Cloud Native #osc19tk
 
Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPromet...
Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPromet...Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPromet...
Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPromet...
 
ISUCON8忘年会 LT / 430,000 uses
ISUCON8忘年会 LT / 430,000 usesISUCON8忘年会 LT / 430,000 uses
ISUCON8忘年会 LT / 430,000 uses
 
最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
最高のslack体験を求めて 〜新バージョンリリースに添えて〜 / introduce-slack-aggregator-in #dentoolt 21
 
[公開版] 自宅APIのススメ #dentoolt
[公開版] 自宅APIのススメ #dentoolt[公開版] 自宅APIのススメ #dentoolt
[公開版] 自宅APIのススメ #dentoolt
 
スイッチをお手軽にしよう! #wakate2018w
スイッチをお手軽にしよう! #wakate2018wスイッチをお手軽にしよう! #wakate2018w
スイッチをお手軽にしよう! #wakate2018w
 
ブロックチェーン概要のご紹介 #wakate2017
ブロックチェーン概要のご紹介 #wakate2017ブロックチェーン概要のご紹介 #wakate2017
ブロックチェーン概要のご紹介 #wakate2017
 
LT大会 #osc17tk
LT大会 #osc17tkLT大会 #osc17tk
LT大会 #osc17tk
 
帯域確保していき隊 #oscnagoya #東海道らぐ
帯域確保していき隊 #oscnagoya #東海道らぐ帯域確保していき隊 #oscnagoya #東海道らぐ
帯域確保していき隊 #oscnagoya #東海道らぐ
 
地獄のご紹介 #dentoolt
地獄のご紹介 #dentoolt地獄のご紹介 #dentoolt
地獄のご紹介 #dentoolt
 
自宅ネットワークの話 #MCCMMANCC
自宅ネットワークの話 #MCCMMANCC自宅ネットワークの話 #MCCMMANCC
自宅ネットワークの話 #MCCMMANCC
 
https://whywrite.it/dust/dentoolt/15.5/ #dentoolt
https://whywrite.it/dust/dentoolt/15.5/ #dentoolthttps://whywrite.it/dust/dentoolt/15.5/ #dentoolt
https://whywrite.it/dust/dentoolt/15.5/ #dentoolt
 
スライド、作ってみませんか? #osc16tk
スライド、作ってみませんか? #osc16tk スライド、作ってみませんか? #osc16tk
スライド、作ってみませんか? #osc16tk
 
自宅DCのススメ (2) #dentoolt
自宅DCのススメ (2) #dentoolt 自宅DCのススメ (2) #dentoolt
自宅DCのススメ (2) #dentoolt
 
インフラ #kosenconf
インフラ #kosenconfインフラ #kosenconf
インフラ #kosenconf
 

Recently uploaded

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
atsushi061452
 

Recently uploaded (14)

クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
クラウド時代におけるSREとUPWARDの取組ーUPWARD株式会社 CTO門畑
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 

CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud