More Related Content Similar to リクルートのWebサービスを支える「RAFTEL」 (20) More from Recruit Technologies (20) リクルートのWebサービスを支える「RAFTEL」2. 自己紹介
2(C) Recruit Technologies Co.,Ltd. All rights reserved.
北岡 史也 Fumiya Kitaoka
株式会社リクルートテクノロジーズ
インフラソリューション部
インフラソリューション3G
グループマネージャー
前職はSIerでDBA。2011年にリクルートに中途入社。
入社後はプライベートクラウドの運用、設計、構築を担当し、
現在はパブリッククラウドも担当しております。
5. 1.はじめに 〜リクルートとは
5(C) Recruit Technologies Co.,Ltd. All rights reserved.
【リクルート企業概要】
創立 1960年3月31日 「大学新聞広告社」としてスタート
グループ
従業員数
31,841名
連結売上高 約1兆2999億円 ※2015年3月末
連結経常利益 約1,256億円 ※2015年3月末
関連企業数 162社(国内+海外)
目指す世界観 「あなた」を支える存在でありたい
※2015年3月末
6. 1.はじめに 〜リクルートとは
6(C) Recruit Technologies Co.,Ltd. All rights reserved.
【リクルートのビジネスモデル】
マッチング
カスタマー
(一般ユーザー)
クライアント
(サービス提供企業)
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します
8. 1.はじめに 〜リクルートとは
8(C) Recruit Technologies Co.,Ltd. All rights reserved.
【リクルートのビジネスモデル】
※リボンモデルについてはyoutube上に「ribbon model」で説明があります
カスタマー マッチング クライアント
○○な結婚式がした
いけどどの結婚式場
にすれば・・・
○○な結婚式をあげ
られる式場なんだけ
どな・・・
○○なヘアースタイ
ルにしてくれるとこ
ろないかな・・・
こういうヘアースタ
イルにすることがで
きるんだけど・・・
9. 1.はじめに 〜リクルートとは
9(C) Recruit Technologies Co.,Ltd. All rights reserved.
ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
選択・意思決定 を支援する情報サービスの提供
「まだ、ここにない、出会い。」を実現する
【リクルートの事業領域】
10. 1.はじめに 〜リクルートテクノロジーズとは
10(C) Recruit Technologies Co.,Ltd. All rights reserved.
リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
インフラソリューション
大規模プロジェクト推進
UXD/SEO
ビッグデータ機能
テクノロジーR&D
事業・社内IT推進
リクルート
ホールディングス
リクルートとは、
主要7事業会社+3機能会社
で構成されるグループ企業群
私が所属する会社は
リクルートテクノロジーズ
セキュリティAP基盤・オフショア開発
11. 1.はじめに 〜リクルートテクノロジーズとは
11(C) Recruit Technologies Co.,Ltd. All rights reserved.
【リクルートテクノロジーズのミッション】
リクルートグループ各社の現在・将来のニーズを見据えて
競合優位性の高いIT、ネットマーケティング基盤を
開拓・ビジネス実装することにより
リクルートグループの競争優位を構築していく。
IT・ネットマーケティング領域の専門部隊。
リクルートグループをITで牽引する企業です
12. 1.はじめに 〜リクルートとは
12(C) Recruit Technologies Co.,Ltd. All rights reserved.
ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
【リクルートのインフラ】
プライベートクラウド
(RAFTEL)
パブリッククラウド
(Rクラウド)
14. 2.プライベートクラウド”RAFTEL”の進化の軌跡
14(C) Recruit Technologies Co.,Ltd. All rights reserved.
【インフラ統合前(2006〜2007年頃)】
データセンタ1
サイト数
サーバ数
NW機器
専用1
109
65
データセンタ2
サイト数
サーバ数
NW機器
専用1
129
57
主サイト数
サーバ数
NW機器
8
526
287
データセンタ4
主サイト数
サーバ数
NW機器
32
574
298
データセンタ3
HOPE
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
4箇所 のデータセンター、 1400台 のサーバで構成
エンジニアも各サービスごとに配置
15. 2.プライベートクラウド”RAFTEL”の進化の軌跡
15(C) Recruit Technologies Co.,Ltd. All rights reserved.
【インフラ統合前(2006〜2007年頃)】
データセンタ1
サイト数
サーバ数
NW機器
専用1
109
65
データセンタ2
サイト数
サーバ数
NW機器
専用1
129
57
主サイト数
サーバ数
NW機器
8
526
287
データセンタ4
主サイト数
サーバ数
NW機器
32
574
298
データセンタ3
HOP
E
Ima/MARCO
Arorua
Gemin
i
Kassul
FROLIDA
億PV
年度
ビジネススピードは加速し、アクセス数も急増し
インフラ負荷も急激に上がっていた
4箇所 のデータセンター、 1400台 のサーバで構成
エンジニアも各サービスごとに配置
17. 2.プライベートクラウド”RAFTEL”の進化の軌跡
17(C) Recruit Technologies Co.,Ltd. All rights reserved.
【インフラ統合前(2006〜2007年頃)の課題】
② 頻発する新規サイトの立ち上げ、環境の増改築
→ 人件費の増加
③ ビジネススピードの加速
→ インフラのサービス提供が追いけない
① インフラを個別最適で拡張
→ 無駄の発生
④ スモールスタート型の新規ビジネスの増加
→ 柔軟なインフラ拡張が求められるように
これらの課題解決のため
2009年にDCを統合し、プライベートクラウド
(RAFTEL)を構築することに!
データセンタ
1
データセンタ
2
データセンタ
4
データセンタ
3
プライベートクラウド
(RAFTEL)
18. 2.プライベートクラウド”RAFTEL”の進化の軌跡
18(C) Recruit Technologies Co.,Ltd. All rights reserved.
サイトA用 サイトB用 サイトC用 サイトD用 サイトE用 サイトF用 サイトG用 サイトH用
課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サイトの専用のサーバ、NW、ストレージ
リソースが足りない時にはサイトごとにリソース追加
各リソースに余剰があっても
サイト間でリソースは共有できない
DCごとに異なるHWベンダ
19. 2.プライベートクラウド”RAFTEL”の進化の軌跡
19(C) Recruit Technologies Co.,Ltd. All rights reserved.
サイトA用 サイトB用 サイトC用 サイトD用 サイトE用 サイトF用 サイトG用 サイトH用
課題① インフラを個別最適で拡張、無駄の発生
DC3
サーバ X社
ネットワーク Y社
ストレージ Z社
DC4DC2
サーバ U社
ネットワーク V社
ストレージ W社
サーバ R社
ネットワーク S社
ストレージ T社
サーバ O社
ネットワーク P社
ストレージ Q社
DC1
各サイトの専用のサーバ、NW、ストレージ
リソースが足りない時にはサイトごとにリソース追加
各リソースに余剰があっても
サイト間でリソースは共有できない
DCにごとに異なるHWベンダ
個別最適化(分割)による無駄を減らすことが重要!
21. 2.プライベートクラウド”RAFTEL”の進化の軌跡
21(C) Recruit Technologies Co.,Ltd. All rights reserved.
サイトA用
論理Vol.
サーバプール サイトA用
サーバ
サイトB用
サーバ
サイトC用
サーバ
打ち手① DC統合とリソースの標準化、プール化
ネットワークプール (統合ネットワーク)
ストレージプール (統合ストレージ)
…
…
…
…
…
…
標準サーバ、標準NWスイッチ、
標準ストレージによる
リソースプールを形成
必要に応じてサイトに対して
リソースプールから
サーバ、ネットワーク、
ストレージリソースを割り当て
DCを統合することで、
ネットワーク、ストレージを統合
サイトA用
論理NW
サイトB用
論理Vol.
サイトB用
論理NW
サイトC用
論理Vol.
サイトC用
論理NW
統合
ネットワーク
統合
ストレージ
22. 2.プライベートクラウド”RAFTEL”の進化の軌跡
22(C) Recruit Technologies Co.,Ltd. All rights reserved.
既存サイトの
リプレース
新サービス
立ち上げ
アクセス数
インフラ費用
インフラコストの約5割は
サイト構築+定常運用の人件費
課題② 新サービス立ち上げ、エンハンス対応人件費の増加
新サービスの構築、
既存サイトのエンハンス
個別に検討・設計を実施
構築/運用人件費が増加し続けている
増加傾向にある構築・エンハンスの人件費を
どう抑えていくかが重要!
23. 2.プライベートクラウド”RAFTEL”の進化の軌跡
23(C) Recruit Technologies Co.,Ltd. All rights reserved.
次世代IT統合基盤
インフラ増改築作業、維持運用作業自動化のために…
・自動化プラットフォームの導入
・インフラ構成情報のデータベース化
運用自動化の対象要素既存インフラ
ネットワーク
ハードウェア
OS
言語
フレームワーク
ミドルウェア
基本構築
テンプレート
手作業(一部効率化)
個別設定作業
基本構築作業
(ディスクコピー等)
自動化
システム
構成管理DB
運用作業
テンプレート
打ち手② エンジニア作業・構成管理の自動化
24. 2.プライベートクラウド”RAFTEL”の進化の軌跡
24(C) Recruit Technologies Co.,Ltd. All rights reserved.
構成管理機能
構成管理DB
MA
構成管理 自動化作業
サーバ基本設定
• RAID設定
• OSインストール
• NFSマウント設定
NW基本設定
•SWポート開放
•ACL設定
•DNS設定
•監視設定
MW設定
• Apacheインストール
• Tomcatインストール
• Sophosインストール
• JP1監視インストール
通信設定
• LB設定
• FW設定
サーバプール
Webサー
ビス
Batch
サービス
打ち手② エンジニア作業・構成管理の自動化
25. 2.プライベートクラウド”RAFTEL”の進化の軌跡
25(C) Recruit Technologies Co.,Ltd. All rights reserved.
新規サイト計画 /既存サイトの増改築
調達、設計、構築の各工程で時間がかかっている
(余裕を見越したサイジングの原因)
必要なときにすぐに増設ができないビジネスのスピード感に合わない
ビジネス機会の損失 性能問題への対応が遅れる
課題③ ビジネススピードにインフラ提供が追いつかない
発注~納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
発注~納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
各工程の時間をいかに短縮できるかが重要!
26. 2.プライベートクラウド”RAFTEL”の進化の軌跡
26(C) Recruit Technologies Co.,Ltd. All rights reserved.
打ち手③ プール化と自動化による機動力向上
1w 2w 3w 4w 5w 6w
発注~納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
標準化されたサーバが
サーバプールに存在
5w1w 6w4w3w2w
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
設
計
自動化
ツールで
構築作業を
短縮
Webサーバ増設にかかる時間の比較
機器の発注からサービスインまで最短で6週間
発注のリードタイムが不要のため最短2週間で構築
RAFTEL導入後
RAFTEL導入前
27. 2.プライベートクラウド”RAFTEL”の進化の軌跡
27(C) Recruit Technologies Co.,Ltd. All rights reserved.
打ち手③ プール化と自動化による機動力向上
1w 2w 3w 4w 5w 6w
発注~納品
(Unixやストレージの場合数ヶ月のことも…)
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
標準化されたサーバが
サーバプールに存在
5w1w 6w4w3w2w
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ラ
ッ
キ
ン
グ
(
サ
ー
ビ
ス
イ
ン
)
L
B
開
始
ケ
ー
ブ
リ
ン
グ
S
W
設
定
O
S
イ
ン
ス
ト
ー
ル
M
W
設
定
監
視
設
定
L
B
登
録
F
W
登
録
テ
ス
ト
監
視
テ
ス
ト
設
計
設
計
自動化
ツールで
構築作業を
短縮
Webサーバ増設にかかる時間の比較
機器の発注からサービスインまで最短で6週間
発注のリードタイムが不要のため最短2週間で構築
RAFTEL導入後
RAFTEL導入前
28. 2.プライベートクラウド”RAFTEL”の進化の軌跡
28(C) Recruit Technologies Co.,Ltd. All rights reserved.
② 新規立ち上げ、増改築の頻発で増加した人件費
③ ビジネススピードに追随できない構築スピード
① 個別最適の拡張で発生していた無駄
「RAFTEL」で採用した打ち手と成果
サーバ構成/配置の統一。余剰リソースの利用効率向上
N/W、ストレージの統合/仮想化。論理的に個別利用
エンジニア作業、構成管理を自動化。機動性up&省力化
サーバ、ストレージ、ネットワークリソースのプール化
32. 3.パブリッククラウド”Rクラウド”の進化の軌跡
32(C) Recruit Technologies Co.,Ltd. All rights reserved.
【パブリッククラウド利用時の課題】
インフラだけならすぐに作れるが。。。
② 個別に非機能要件の作り込み
→ 作り込みに時間がかかる
① 個別にセキュリティ対応
→ セキュリティ対応に時間がかかる
これらの課題解決のため
パブリッククラウド
Aサービス Zサービス
・・・
パブリッククラウド
(Rクラウド)
Aサービス Zサービス
・・・
共通機能
(セキュリティ、非機能対応)
2011年からプライベートクラウド(Rクラウド)を
構築し、順次共通機能の提供を開始!
34. 3.パブリッククラウド”Rクラウド”の進化の軌跡
34(C) Recruit Technologies Co.,Ltd. All rights reserved.
【プライベートクラウド⇄パブリッククラウド】
パブリッククラウドに対して専用線経由でアクセスすることで
セキュアかつ高品質なアクセス経路が確保され、様々な連携が可能に
プライベートクラウド
(RAFTEL)
パブリッククラウド
(Rクラウド)
専用線
ログ取得用
踏み台
サーバ
ログイン
認証
サーバ
・操作ログを取得
既存業務フローを最大限活用し、パブリッククラウドに
対しても監査機能の有効化
35. 3.パブリッククラウド”Rクラウド”の進化の軌跡
35(C) Recruit Technologies Co.,Ltd. All rights reserved.
【プライベートクラウド⇄パブリッククラウド】
パブリッククラウドに対して専用線経由でアクセスすることで
セキュアかつ高品質なアクセス経路が確保され、様々な連携が可能に
プライベートクラウド
(RAFTEL)
パブリッククラウド
(Rクラウド)
専用線
ログ取得用
FTP
サーバ
ログイン
認証
サーバ
・ログイン履歴を取得
ファイルアップロードも既存運用を変えることなく
セキュリティ運用を担保
・ウィルスチェック
36. 3.パブリッククラウド”Rクラウド”の進化の軌跡
36(C) Recruit Technologies Co.,Ltd. All rights reserved.
【プライベートクラウド⇄パブリッククラウド】
パブリッククラウドに対して専用線経由でアクセスすることで
セキュアかつ高品質なアクセス経路が確保され、様々な連携が可能に
プライベートクラウド
(RAFTEL)
パブリッククラウド
(Rクラウド)
専用線
ログ取得用
FTP
サーバ
ログイン
認証
サーバ
Zabbixを用いて監視を実施しています