YJTC18 A-1 データセンタネットワークの取り組み

データセンタネットワークの取り組み
サイトオペレーション本部インフラ技術3部
村越健哉
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

自己紹介
• 村越健哉（むらこしけんや）
• サイトオペレーション本部インフラ技術3部部長
• 第6代/第7代黒帯〜ネットワーク〜
• 2012年からヤフーへ
• プロダクションネットワーク全般を担当

アジェンダ
• ネットワーク概要
• Backbone Network
• Data Center Network
• 苦労している点
• データセンタネットワークの取り組み
• Design
• Box/Chip
• Automation

ネットワーク概要

Internet
EDGE（CDN）
Backbone
Network
Data Center
Network

Internet
EDGE（CDN）
Backbone
Network
Data Center
Network
Yahoo! JAPAN
Network Infra

Internet
EDGE（CDN）
Backbone
Network
Data Center
Network
Yahoo! JAPAN
Network Infra
サーバ：80,000
VM：100,000
ルータ：70+
コアスイッチ：200+
ロードバランサ：600+
エッジスイッチ：4500+
マネージメントスイッチ：3000+

Backbone Network
東北
東京
大阪
九州
AS 24572 AS 23816
Internet Internet
CDN
CDN

Actapio, Inc.
AS24572
Actapio, Inc.
AS23816
AS18140

Actapio, Inc.
Actapio, Inc.
IngressZilla

Backbone Network
東北
東京
大阪
九州
CDN
CDN
AS 24572 AS 23816
Internet Internet

Backbone Network
東北
東京
大阪
九州
CDN
CDN
AS 24572 AS 23816
Internet Internet
対外接続 500Gbps以上

Backbone Network
東北
東京
大阪
九州
CDN
CDN
AS 24572 AS 23816
Internet Internet
対外接続 500Gbps以上動画トラフィックは7〜8割
ニュース動画、GYAOなどにより
North-Southのトラフィックは増加傾向

Backbone Network
東北
東京
大阪
九州
CDN
CDN
AS 24572 AS 23816
Internet Internet
対外接続 500Gbps以上動画トラフィックは7〜8割
ニュース動画、GYAOなどにより
North-Southのトラフィックは増加傾向
IF増速、機器のグレードアップ
＝Scale Upで対応

Data Center Network
・・・・・・

Data Center Network
Backbone
Aggregation
（棟 or フロア集約）
1棟 or 1フロア 1棟 or 1フロア 1棟 or 1フロア
・・・・・・

Data Center Network
・・・・・・
ToRのトータルトラフィックは？

Data Center Network
九州DCのエッジ uplink
Total Traffic
東北DCのエッジ uplink
Total Traffic
・・・・・・
約3.6 Tbps 約1.5 Tbps

Data Center Network
・・・・・・
全拠点で約10Tbps
対外接続500Gbpsの20倍
Total Traffic
Total Traffic

Data Center Network
HadoopやComputeとストレージ分離などにより
East-Westトラフィックが急激に増加
・・・・・・
全拠点で約10Tbps
対外接続500Gbpsの20倍
Total Traffic
Total Traffic

Data Center Network
Traditional Network CLOS Fabric Network(zone security)
・・・・・・
East-Westに弱い East-Westに強い

Data Center Network
• Janog38 ヤフーのIP CLOS ネットワークを参照
• https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf
・・・・・
Internet
・・・・・
Spine
Core
Router
Layer3
Layer2
ルーティング経路はECMP
（Equal Cost Multi Path）
eBGP
・・・・・・・・・・
4x40G
AS6500
AS65101 AS65102 AS651xx AS651xy AS65301 AS65302 AS653xx AS653xy
リンク間は/31
で節約
leaf配下は/26や/27
BFDで素早く検知
Bidirectional Forwarding Detection
BGPのAS番号はPrivate ASを利⽤
ACL
(zone security)

苦労している点
• Traditional Networkの更改
• 20年以上の歴史
• それぞれの時代に応じたネットワーク機器・構成
• 保守費、保守期限、故障との戦い

ネットワーク概要まとめ
• North-South トラフィック
• 動画トラフィックにより増加傾向
• Scale Upで増速、増強し対応
• East-West トラフィック
• Hadoop、ストレージネットワークなどにより急激に増加
• Scale Upでは限界のため、Scale Outで対応
• zone securityでCLOS Fabric ネットワークを構築
• 歴史のあるネットワーク更改に苦労

データセンタネットワーク
の取り組み

https://code.facebook.com/posts/1782709872057497

Facebook Yahoo! JAPAN
Design CLOS Fabric NW CLOS Fabric NW
Automation Home Grown Tool Home Grown + OSS + Apstra
Software
NWメーカー
OS
FBOSS
NWメーカー
OS
EOS Cumulus
NX-OS
Junos
Chip
汎用ASIC
（Broadcomなど）
カスタム
ASIC
汎用ASIC
カスタム
ASIC
Box NWメーカー
OCP
(Wedge, Backpack)
NWメーカー Arista White Box
Cisco
Juniper

Design
Software
NWメーカー
OS
FBOSS
NWメーカー
OS
EOS Cumulus
NX-OS
Junos
Chip
汎用ASIC
カスタム
ASIC
汎用ASIC
カスタム
ASIC
Box NWメーカー
OCP
(Wedge, Backpack)
Cisco
Juniper

Design
Traditional Network CLOS Fabric Network(zone security)
ACL
ACL 同じセキュリティポリシー
であれば構築可能
L3
L2
・・・・・・

Design
• ACL数がコアスイッチで最大110,000以上

Design
• ACL数がコアスイッチで最大110,000以上
分散が必要

Design
• iptablesベースのセキュリティ管理システムを開発
• 開発環境で最終テスト中
・・・・・・
様々なセキュリティポリシーが
共存可能

Box/Chip
Software
NWメーカー
OS
FBOSS
NWメーカー
OS
EOS Cumulus
NX-OS
Junos
Chip
汎用ASIC
カスタム
ASIC
汎用ASIC
カスタム
ASIC
Box NWメーカー
OCP
(Wedge, Backpack)
Cisco
Juniper

Box/Chip
• 汎用ASICとカスタムASIC
• 安く、タイムリーな速度のIFを利用 → 汎用ASIC（Broadcomなど）
• Inbound TelemetryなどカスタムASICでしかできないことも検討中
• 昔：メーカー冗長
• 今：Chip Diversity

Box/Chip
• Advent Calendar 2017 参照
• データセンタネットワークの取り組みとFacebook Backpack
• https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/
Fabric1 Fabric2 Fabric3 Fabric4
LC1-L LC1-R LC2-L LC2-R LC3-L LC3-R LC4-L LC4-R
Backpack
swp1〜16 swp17〜32
ECMP
BGP
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Net work OS
Cumulus®
Linux®
Net work OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Network OS
Cumulus®
Linux®
Net work OS
Cumulus®
Linux®
Net work OS

Automation
Software
NWメーカー
OS
FBOSS
NWメーカー
OS
EOS Cumulus
NX-OS
Junos
Chip
汎用ASIC
カスタム
ASIC
汎用ASIC
カスタム
ASIC
Box NWメーカー
OCP
(Wedge, Backpack)
Cisco
Juniper

Automation
• Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照
• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-00.pdf

Automation
• Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照
• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-00.pdf
既存のネットワーク機器は自動化、可視化
ができている

Automation
• Apstra AOS：CLOS Fabricに特化した自動化ツール
• Intentベース（アドレス、ラック数、アップリンク帯域などを定義するだけ）
• Config自動生成
• ケーブルミス、障害解析、Telemetryなど運用向上
自前でできないものをカバー

Automation
• 国内DC Hadoopネットワークリプレース
100G
BGP, ECMP

DCNW取り組みまとめ
• Hyper Scale(OTT)の良いところをうまく取り入れる
• Design
• 新しいセキュリティ管理システム
• CLOS Fabric Network
• Box/Chip
• Chip Diversity
• 新しい取り組みとしてFacebook Bakcpack
• Automation
• 自前運用ツール
• CLOS Fabricに新しい運用ツール（Apstra）

YJTC18 A-1 データセンタネットワークの取り組み

More Related Content

What's hot

Similar to YJTC18 A-1 データセンタネットワークの取り組み

More from Yahoo!デベロッパーネットワーク

Recently uploaded

YJTC18 A-1 データセンタネットワークの取り組み