Rakuten Developer Meetup vol.01: 楽天エコシステムを支えるインフラエンジニア https://rakuten.connpass.com/event/232707/

1. 楽天のインフラ事情 2022
Jan 27th, 2022
守道 康人
Cloud Platform Dept.
Rakuten Group, Inc.

2. 2
自己紹介
• 守道 康人 ( もりみち やすと)
Cloud Platform Department / Core Infrastructure Section / Senior Manager
• 2009年入社
• インフラエンジニアとして 主にサーバ構築+仮想化＋自動化の推進などを取り組む
• 後、インフラツール開発・運用のグループやユーザーサポート、社内TAMグループの立ち上げなどを担当
• 去年末からはコアインフラストラクチャ課に移り、サーバリソースの管理や担当プラットフォームサービス
の改善に挑戦中
• コアインフラストラクチャ課
• 物理サーバによるコンピュートプラットフォームとDC内ネットワークをサービス化し、社内に提供
• Baremetal as a Service / Network as a Service
• サーバ・ネットワークリソースの管理と、その管理ツールの開発・運用
• 社内標準サーバの選定・検証

3. 3
本日の内容
• 楽天のインフラ・プラットフォームサービスの今昔
• 現在提供している クラウドプラットフォームについて
• 今後の取り組みについて

4. 4
これまでのインフラについて

5. 5
2018年: プラットフォーム乱立によるサイロ化
• 社内エンジニアの開発エクスペリエンスの低下
• ツールやポータルがプラットフォームごとに複数存在
• ユーザから見てどれを使うのがベストかわかりにくい
• 課金や認証がプラットフォームごとに異なる
• プラットフォーマー視点
• 緊急で複雑なトラブル対応時の問題特定に時間がかかる
• 会社視点
• 全社レベルでのリソース最適化に課題 (人/ハードウェア)
• 統一的なセキュリティコントロールの欠如
• 部署ごとに異なるライフサイクルポリシー
問題点
3-5年後先を見据えた場合に懸念あり
2018年後半: インフラ戦略変更+大規模な組織再編 -> 新クラウドプラットフォームの開発を開始
VM
Platform 1
Container
Platform 1
PaaS
Container
Platform 2
VM
Platform 2
Baremetal
Platform

6. 6
現クラウドプラットフォームについて

7. 7
現クラウドプラットフォーム 概要 (1)
マネージドサービス指向
• 組織構造とマネージドサービスを一致させる
• 開発者はマネージドサービスの組み合わせでサービスを作れる
• 組み合わせてさらに抽象度の高いマネージドサービスを生み出す
CNCFプロダクト/OSSをメインに切り替え
• デファクトスタンダードなソフトウェアを採用
• 情報が得やすく学習コストを下げられる
• 他所で培ったスキルや経験を活かしやすい
各コンポーネントは疎結合
• 責任分界点の明確化
• 任意のタイミングで upgrade/update が可能
• 時勢に合わせた技術選択が可能
DC-1 DC-2 DC-3 DC-4 DC-5
Backbone Network/DCI
Network
Baremetal
Controller
Network
Controller
Baremetal
LBaaS
GUI Portal + API + IAM + Billing
DBaaS Storage
CaaS Monitoring
Service-B Service-B
Service-C
Service-B
Service-B
Service-A

8. 8
現クラウドプラットフォーム 概要 (2)
マルチリージョン対応
• 広帯域/高信頼のネットワークで複数リージョン間を接続
• 1 DC がダウンしてもサービスを継続可能 (BCP)
認証+認可+ポータルを自社用に開発
• マルチテナントベースの管理
• 社内の頻繁な組織再編や柔軟な権限設定に対応
• 明瞭な課金表示
2020年10月: 本番環境として稼働開始
ベアメタルを起点としたインフラ基盤
• ベアメタルサーバをセルフサービスで提供
• ユーザニーズに合わせた多様なサーバカタログ
• シンプルで安定したネットワーク
DC-1 DC-2 DC-3 DC-4 DC-5
Backbone Network/DCI
Network
Baremetal
Controller
Network
Controller
Baremetal
LBaaS
GUI Portal + API + IAM + Billing
DBaaS Storage
CaaS Monitoring
Service-B Service-B
Service-C
Service-B
Service-B
Service-A

9. 9
Baremetal / Network Controller の開発
• プロダクト寿命をコントロールしやすくするために自社で開発
• 様々な未知の案件に対して新機能の追加や、迅速な Bugfix 対応が可能
Baremetal Controller
GUI/API Portal
Network
Engineer
Deploy or Destroy
DB DHCP API
System
Developer
Network Controller
DB IPAM API
Network Template Network Template
Baremetal Servers Network Switches
Apply
Configuration

10. 10

11. 11
現在のステータス
US EU
• 国内外合わせて、9 データセンター が稼働
• 約30000のサーバを提供
• 新規マネージドサービスの拡充
• 社内ユーザ向け勉強会の実施/利
用を拡大化
LBaaS DBaaS Storage
CaaS Monitoring
New Managed Service
JP

12. 13
まとめ
楽天エコシステムを支えるための本格的な統合型プライベートクラウドを構築し、
本番環境での利用を開始している
• マネージドサービス指向に舵切り、コアインフラ基盤を簡素化
• 高性能な物理サーバ/ネットワークリソースを低コストで提供
• マルチテナント対応 / 各プラットフォーム・利用者間での責任範囲を明確化
• 国内だけでなく、海外の楽天サービスも含めた利用を進めており、国内外9カ所のDCに展開済み