Here is a best practice of Carrier-Grade AWS security, once you've copied the AWS cloud formation script provided by NTT DCOOMO. Let's open a new vista with this presentation. （拡散希望。この夢の部分が伝わらないと、道楽と思われる）どうしてこういう活動をするのか？　スタートアップがいきなり電話会社と同レベルのセキュリテイとデータアナリティクスを手に入れる。サービス企業がシステム構築のイニシアティブが取れるのです。そうすれば、より企業連携がより緊密にできる。企業連携のイノベーションが新たに生まれる。標準化重視のIndustrie4.0より先に行けるのです。横方向の展開で新たなバリューチェーンがしっかりと生まれる。

1. © 2015 NTT DOCOMO, INC. All rights reserved.
NTTドコモの AWS 開発ガイドラインと
セキュリティデザインパターン事例
∼「ドコモクラウドパッケージ」
が誕生するまで∼
6/3/2015
栄藤 稔、@mickbean
1

2. © 2015 NTT DOCOMO, INC. All rights reserved. 2
AWS Summit Tokyo ‘15での発見
1. ポリシーと統制を伴っ
たベンダー非依存の体制
2. アジリティな開発体制
→ニューノーマル（当たり前）
クラウドネイティブを前提とした

3. © 2015 NTT DOCOMO, INC. All rights reserved. 3
Hardware v.s. Software
長崎社長：「我々はインフラをソフトウェア化するためにAWSを作った」

4. © 2015 NTT DOCOMO, INC. All rights reserved. 4
シェアリングできる
データセンター
プログラミングできる
データセンター
従来の
サーバープログラミング
“Cloud Native”な
プログラミング
“Cloud 1.0” v.s. “Cloud 2.0” coined by M.E.

5. © 2015 NTT DOCOMO, INC. All rights reserved.
産業のソフトウェア化によっておこること
5
• 知の共有
例：マーケットプレイスの出現。
• 新しい事業構造への転換
新しい企業関バリューチェーンの
登場。→APIエコノミーの出現。

6. © 2015 NTT DOCOMO, INC. All rights reserved. 6
Moved to AWS (2012)
Moved to AWS (2014)
ミッションクリティカルシステム
Webサービスシステム
業務系システム

7. © 2015 NTT DOCOMO, INC. All rights reserved.
大組織において複数プロジェクトで
AWSを利用していると
• 内製ならまだしも外注文化では
• 設計手法はバラバラ。
• セキュリティ対策もバラバラ。
• コスト最適化もバラバラ。
7

8. © 2015 NTT DOCOMO, INC. All rights reserved.
コスト可視化ツール：多数部署の利用が見て取れます
8
RIの有効利用度表示
• 有効なRI数
• RI利用数
• RI利用率
• RI余剰数
時系列でのコスト表示
• 利用料表示
• 利用台数表示
• 利用アカウント別
• 利用サービス別
• 日付指定
• 円換算（為替反映）
• 1時間毎/1日毎
• リザーブド(RI)指定
• 利用サービス絞込
• 利用AZ絞込
表示形式
• 利用アカウント別
• 利用サービス別
• 日付指定
• 1時間/1日毎
• リザーブド(RI)指定
• AZ
• インスタンスタイプ

9. © 2015 NTT DOCOMO, INC. All rights reserved.
システム・インテグレータでは解決できない問題＝
クラウドを使うユーザ企業として解決すべき問題。
9
• クラウドを使う上での内部統制
• セキュリティポリシーの制定
• クラウド利用時のシステム構築の注意点
• クラウド利用におけるコスト管理方法や、
セキュリティ管理

10. © 2015 NTT DOCOMO, INC. All rights reserved.
Cloud2.0 設計・構築のポイント
10
● Design for failure
あらゆるものはいつでも故障する
前提で設計する
● コンポーネントの疎結合化
コンポーネントを独⽴立立させ，ブ
ラックボックス化する
● スケーラブルな構成
伸縮⾃自在性があり，再起動が可能な
構成にする
● 全レイヤでのセキュリティ
AWSとの責任分担モデルを理理解
し，全てをAWSに任せない
● 並列列処理理の実装
アプリケーションやバッチ処理理の
並列列化を検討する
● ストレージの使い分け
EBSやデータベース，S3などの
ストレージを使い分ける

11. © 2015 NTT DOCOMO, INC. All rights reserved. 11
Design for failure：全てのシステムが故障し得ることを前提とした設計
例例えばAZ/DCが1つ潰れてもサービスが継続できるようにシステムを構成
AZ-a AZ-b
×
Service status : OK
Service status : stop Service status : OK
× ○ 2AZで同⼀一システムが稼働しており，
⽚片系が潰れてもサービス継続可能
Design for Failure

12. © 2015 NTT DOCOMO, INC. All rights reserved. 12
Multi-AZ DB（RDS）配置：完全同期DBを複数AZに配置し，障害時は⾃自動切切替
データを複数AZに同期保存し，障害発⽣生時に⾃自動フェイルオーバーすることによりRPOゼロを実
現（RTO：3-5分）
DB Snapshot：S3にDBのバックアップを取得し，万が⼀一のリカバリ等で利利⽤用
AZ間でデータを同期コピーする障害対策と共に
万が⼀一に備えてスナップショットもS3に保存
Region
Multi-AZ
アベイラビリティ
ゾーン
アベイラビリ
ティゾーン
RDS対応エンジン
• MySQL
• Oracle
• PostgreSQL
• SQL Server（東京リージョンではMulti-AZ⾮非対応）
Design for Failure

13. © 2015 NTT DOCOMO, INC. All rights reserved. 13
サーバ冗⻑⾧長化：複数サーバをAZ内，複数AZに冗⻑⾧長化して設置し，ELBに紐紐付け
ELBの利利⽤用：ELBはAWSが冗⻑⾧長化しており，利利⽤用すれば⾃自動で冗⻑⾧長化・疎結合化
サーバが落落ちても他サーバで継続処理理し，可⽤用性担保と負荷分散を同時に実現
HTTP/HTTPS/TCPのみを
通すような設定も可能
（Firewall機能も兼用可）
EC2
Server
EC2
Server
ELB
EC2
Server
EC2
Server
Availability
Zone #1
Availability
Zone #2
フロント/バックエンドの接続にもELBを利利
⽤用し，疎結合化してTier毎に冗⻑⾧長化
Web
Server
Web
Server
Web
Server
AP
Server
AP
Server
AP
Server
Web
Server
Web
Server
Web
Server
AP
Server
AP
Server
AP
Server
疎結合化
Design for Failure＋コンポーネントの疎結合化

14. © 2015 NTT DOCOMO, INC. All rights reserved. 14
Auto-Scaling：設定した負荷条件に応じてサーバ数を増減，⾃自動復復旧
監視システムと連携し，サーバ負荷増加の場合は⾃自動でサーバを追加，減少の場合は⾃自
動で削除する（サーバ上限/下限数，増加/削除単位，等を設定可能）
※起動するサーバを前もってイメージ化して⽤用意しておく（AMI）
フロントエンドとバックエンドのサーバそ
れぞれに利利⽤用し，Tier毎に可⽤用性を担保
AMI
AutoScaling
Auto scaling Group
CloudWatch
EC2
Server
EC2
Server
EC2
Server
③新サーバ追加&障害サーバ削除
①サーバ障害検知
②AutoScalingトリガ
Availability
Zone #1
Availability Zone #2
④データや設定をロード
Design for Failure＋スケーラブルな構成

15. © 2015 NTT DOCOMO, INC. All rights reserved. 15
ネットワーク冗⻑⾧長化：AWS環境へのアクセス経路路も冗⻑⾧長化して保守・運⽤用
AWSのVPN GatewayはAWSが冗⻑⾧長化しており，企業側を冗⻑⾧長化して複数経路路
化
内部ルータ故障や1経路路遮断時でも
保守・運⽤用できる経路路を確保
Design for Failure

16. © 2015 NTT DOCOMO, INC. All rights reserved. 16
DynamoDBセッション管理理：セッション情報を別管理理しステートレスサーバ化
⾼高性能なNoSQL DBであるDynamoDBに⼀一時的にセッション情報を保存し，⾼高負荷時
であってもボトルネックを作らない構成を実現
セッション情報をDynamoDBに保存し，サーバ
障害時は別サーバで情報取得して処理理を継続
ステートフル ステートレス
EC2
Server
ELB
EC2
Server
EC2
Serverセッション情報A セッション情報B
EC2
Server
ELB
EC2
Server
EC2
Server
セッション情報A
セッション情報B
サーバ障害が発⽣生するとセッ
ション情報が喪失
コンポーネントの疎結合化

17. © 2015 NTT DOCOMO, INC. All rights reserved. 17
リソース量量制限がない点を活⽤用し，処理理を並列列化して効率率率化
RDSリードレプリカ：DBからの読み出しを並列列化して性能向上，負荷低減
書き込みはマスターDB，読み出しはリード
レプリカとすることで書き込み性能も向上
RDS DB
（マスター）
⾮非同期レプリケーション
⾮非同期レプリケーション
EC2
Server
EC2
Server
RDS DB
（Readレプリカ）
RDS DB
（Readレプリカ）
Read
Write
Read
EC2
Server
EC2
Server
EC2
Server
EC2
Server
RDSリードレプリカ対応エンジン
• MySQLのみ
並列列処理理の実装

18. © 2015 NTT DOCOMO, INC. All rights reserved. 18
要求される性能，条件等に応じてストレージを使い分けて運⽤用負荷を低減
S3静的ファイルホスティング：動的⽣生成が不不要なファイルをS3に置くことで
ファイルの可⽤用性を向上させると共に，EC2の負荷を軽減する
世界中に配信が必要な場合にはS3をオリジン
としてCDNであるCloudFrontも利利⽤用可能
AWS Cloud
S3EC2 EC2
RDS
Web
App
Web
App
DB
AZ1 AZ2
static.example.com
www.example.com
ELB
ストレージの使い分け

19. © 2015 NTT DOCOMO, INC. All rights reserved.
パブリッククラウドに対する３大懸念
セキュリティ
SLA
スイッチングリスク
19

20. © 2015 NTT DOCOMO, INC. All rights reserved.
ドコモの情報管理体制 （HPより）
2005年4月の個人情報保護法の全面施行に伴い、
個人情報保護法対策や情報漏えい等に対する全社
的なマネジメントの実施、及び社内管理情報に関
する方針策定、規程類の制改定等、一元的な情報
管理の体制の整備・構築を行う部門として、
情報セキュリティ部を設置し、個人情報取扱端末
の管理、業務従事者に対する教育、業務委託先会
社の監督、技術的セキュリティに関するチェック
の強化等、セキュリティ管理の徹底に努めてまい
りました。
20

21. © 2015 NTT DOCOMO, INC. All rights reserved. 21
情報セキュリティ部
法務部
R＆D
ビジネス部（新規事業）
情報システム部

22. © 2015 NTT DOCOMO, INC. All rights reserved.
私の誇りだったオンプレミスソリューション(2009-)
22

23. © 2015 NTT DOCOMO, INC. All rights reserved.
RedShiftを利用したデータ分析基盤
23
Data
o業務系システム（分析）での利用開始(2014)
ØWeb系システム → 業務系システム → ミッションクリティカルシステム
ドコモ
データセンター

24. © 2015 NTT DOCOMO, INC. All rights reserved.
当社情報セキュリティ部のセキュリティチェック項目
24
230

25. © 2015 NTT DOCOMO, INC. All rights reserved. 25
アカウント管理理：IAM，MFAを利利⽤用してユーザ・権限管理理を厳格化
MFAでマスターアカウント利利⽤用制限，各IAMユーザの権限を適切切に制限
アクセス元，および各ユーザがアクセスできるリ
ソース，機能を制限し，重要操作はMFA利利⽤用限定
AWS account
owner (master)
Developer (IAM) Operator
(IAM)
Administrator
(IAM)
Developer
EC2: R/W
RDS: R
S3: R/W
Operator
EC2: -
RDS: -
S3: R
Administrator
EC2: R/W
RDS: R/W
S3: R/W
× ×△ △
EC2に対して権限を付与できる
IAM Roleも活⽤用
全レイヤでのセキュリティ

26. © 2015 NTT DOCOMO, INC. All rights reserved. 26
セキュリティグループ：コンポーネントへのアクセスを制限するFirewall機能
サーバ内部を変更更することなく，アクセス元/先を制限し不不正アクセスを排除
アクセス元，および各ユーザがアクセスできるリ
ソース，機能を制限し，重要操作はMFA利利⽤用限定
全レイヤでのセキュリティ

27. © 2015 NTT DOCOMO, INC. All rights reserved.
VPCの発展(2009-）
27
セキュリティグループの拡張(in/outのフィルタリング）
実行中のインスタンスのセキュリティグループの変更
ダイレクトインターネット接続
サブネット間のトラフィックを制御できるNACL等々(2011-)

28. © 2015 NTT DOCOMO, INC. All rights reserved.
AWSのセキュリティ機能
28
IAM ROLEは一時的なトークンで、予め設定された
権限を制御するサービス。
AWSリソースに対するアクション、アクセス権限を管理
できるサービス。Identity Access Managementの略。
IAM ROLE
IAM
CLOUDTRAIL
CLOUDTRAILはAWS API の呼び出しを記録し、
ログを残すことができるサービス。

29. © 2015 NTT DOCOMO, INC. All rights reserved.
AWS Summit Japan 2014 E-JAWSセッションにて・・・
29
羨ましいわ．
そんなノウハウ，ドコモさん
だけに貯めとかんと外にも出しく
れはったらええのに
（東急ハンズCIO 長谷川秀樹氏）

30. © 2015 NTT DOCOMO, INC. All rights reserved.
そうか！
30
＝当社の偉大なアセット
ユーザー企業によるユーザー企業のための
クラウドソリューション誕生の瞬間

31. © 2015 NTT DOCOMO, INC. All rights reserved. 31
ログ管理理Firewall/
NACL
アクセス制御
AWS自体
が対策
AWS機能を利用
して対策
ドコモ独自
で対策
パターン化＆テンプレ化
共有責任モデル

32. © 2015 NTT DOCOMO, INC. All rights reserved. 32
構成プログラミング（テンプレート化）
IAM
ROLE
Cloud
Trail
IAM
CLOUDWATCH

33. © 2015 NTT DOCOMO, INC. All rights reserved.
クラウドはプログラムできるデータセンター
33
シンプルな
Webサーバ
しゃべってコンシェル（Cloud-native）
データ分析基盤（On premise-hybrid）

34. © 2015 NTT DOCOMO, INC. All rights reserved. 34
AWS Cloud Formation
–環境構成をスクリプトに従ってデプロイする
–利用料無料

35. © 2015 NTT DOCOMO, INC. All rights reserved. 35
お問い合わせ先
dcm-cloudconsulting-ml@nttdocomo.com
サービス紹介ページはこちら
https://www.39works.net/assets/dcm-cloudconsulting
ユーザー企業によるユザー企業のためのクラウドソリューション

36. © 2015 NTT DOCOMO, INC. All rights reserved.
効果
36
「ドコモ・クラウド
パッケージ」
を利用しなかっ
た場合
「ドコモ・クラウド
パッケージ」
を利用した場合

37. © 2015 NTT DOCOMO, INC. All rights reserved.
ベジタリア+ウォーターセル + 新潟市 +d
37
M2M
Server
データストレージ
水位・水温
気温・湿度
ピンポイント天候予測、農作
業記録、病害虫注意報など
地図情報・航空写真を利用し
た営農管理
多圃場の管理

38. © 2015 NTT DOCOMO, INC. All rights reserved.
ドコモのセキュリテイ（←詳しく言えませんが）
をテンプレート一発で実現
38
情報管理規定
情報管理細則
故意による不正行為抑止
セキュリティ対策基準
サイバー攻撃対応
情報管理マニュアル
顧客情報管理マニュアル
内部・外部のログ
定期的なログ調査の実施
アラートシステム
権限付与ルール
アカウント管理
入退室管理
データ暗号化
立ち入り監査
情報セキュリティ監査
サイバー攻撃対応

39. © 2015 NTT DOCOMO, INC. All rights reserved. 39
15世紀 21世紀初頭

40. © 2015 NTT DOCOMO, INC. All rights reserved.
販売取次パートナーのご紹介
40
アイレット株式会社
Cloudpack事業部様
NTTデータ様

41. © 2015 NTT DOCOMO, INC. All rights reserved.
ドコモ・クラウドパッケージ Updates
2015年5月までの新サービス、および各種新機能をキャッチアップした、
アップデート版DCPの提供開始【本日リリース】
コスト監視用ツール『Cost Visualizer』の提供開始【6月中旬】
（有償オプション）
ドコモのビッグデータ分析ノウハウを用いたコンサルティングの提供
【今夏頃提供開始】
41

42. © 2015 NTT DOCOMO, INC. All rights reserved.
私の夢
42
APIエコノミー：
企業間連携による
イノベーション
の実現
Bild: Mimi Potter / fotolia.de
https://en.fotolia.com/id/59201779

43. © 2015 NTT DOCOMO, INC. All rights reserved.
ドコモのブランドビジョン
いつか、あたりまえになることを。
43