［2018/10/24に開催した「Lead Initiative 2018 Technical TRACK」の講演資料です］ 情報システムのクラウド化やIoTの推進により、通信インフラには高いレベルの可用性や安定性が求められています。本講演では、全サービスの土台となるIIJバックボーンについて、どのように考えて設計、運用しているのかをお話しします。設計面では、設備の冗長化やDR対策の取り組みをはじめ、他のネットワーク事業者との接続方法などについてご紹介します。運用面では、機器の不具合やトラフィックの急激な変動といった迅速な判断や対応が求められる事象に対する対処方法について実例を交えてご紹介します。 講演者：渡邉 一平（サービス基盤本部 ネットワーク技術部 ネットワーク技術課）

2. 絶対に止まらないバックボーン
株式会社インターネットイニシアティブ
渡邉 一平

3. 本日の講演内容
• IIJバックボーンの特徴
• IIJサービスをご利用いただく際には、必ずIIJバックボーンを経由し
て通信しています
• 普段は意識されないIIJバックボーンについて、規模や構造などの特
徴をご紹介いたします
• IIJバックボーンの設計・運用
• IIJサービスを安心してご利用いただけるように、設備部門では多く
の取り組みをしています
• 設計面や運用面の取り組みについて、例を交えてご紹介いたします
3

4. 利用者から見たインターネット
• インターネットは雲のよう
に表現されることが多く、
利用者には抽象的に見える
• IIJバックボーンはインター
ネットを構成しているネッ
トワークの１つ
4
インターネット
IIJ
バックボーン
お客様
ネットワーク
インターネット
接続回線

5. インターネットの構造とIIJバックボーン
• インターネットは多数の組
織のネットワークが相互に
接続することで構成されて
おり、世界規模の巨大ネッ
トワークを実現している
• IIJバックボーンの通信品質
は重要だが、他組織との相
互接続（ピアリング）も通
信品質に影響を及ぼす
5
お客様
IIJ
バックボーン
コンテンツ
プロバイダ
学術
ネットワーク
ネットワーク
サービス
プロバイダ

6. IIJバックボーンの特徴

7. IIJバックボーンの全体像
• 国内
• 東京、大阪、名古屋を中心に
全国の主要都市に拠点を設け
ている
• 海外
• アメリカをはじめ、香港、シ
ンガポール、ロンドンに拠点
を設けている
• 拠点間接続
• 100Gbps回線を主体に、拠点
間を広帯域で接続している
7

8. IIJバックボーンのトラフィック動向
• ピークトラフィックは1Tbps
• 動画コンテンツの高画質化や
クラウド利用の増加によりト
ラフィックは増加傾向にある
• 今後もしばらくは今の増加傾
向のままトラフィックは推移
していくと予想している
8
0
200
400
600
800
1000
1200
2008年
2009年
2010年
2011年
2012年
2013年
2014年
2015年
2016年
2017年
2018年
IIJの契約者トラフィック
顧客からIIJ方向
IIJから顧客方向
(Gbps)

9. IIJバックボーンのネットワーク構造
• 機能を階層化し拡張性を高めたネットワーク
• 多数の主要プロバイダと国内外で広帯域接続
• ネットワーク機器のマルチベンダ選定
• 拠点間接続のマルチキャリア選定、ルート分散
9

10. 拡張性の高いネットワーク
• 機能ごとの階層構造や用途ごとのネットワーク分離により、
各ネットワークをシンプルで拡張しやすい設計にしている
10
キャリア回線/ダークファイバー
バックボーン
サービス
接続サービス
（専用線/ブロードバンド/
モバイル等）
クラウド系サービス
（IIJ GIO）
閉域基盤ネットワーク
回線
拠点間
接続
アプリケーション系
サービス
（メール/Web/DNS等）
レイヤー2基盤（MPLS/WDM）
インターネットバックボーン

11. 主要プロバイダとの接続（ピアリング）
• 国内主要プロバイダとは東京、大
阪で接続している
• Tier1プロバイダや各国の主要プロ
バイダとは、米国を中心にアジア
やヨーロッパでも接続している
• 100Gbps以上の広帯域で多数のプ
ロバイダと接続している
11
Verizon
AT&T
Google
Microsoft
SoftBank
KDDI
OCN
Level3
ｎtt.net
Amazon
Facebook
ｔwitter
IIJ
バックボーン

12. マルチベンダ、マルチキャリア構成
• ネットワーク機器は複数ベンダの機器をバランスよく配置し
て、ソフトウェア脆弱性等のリスクを軽減している
• 拠点間接続はルートやキャリアを分散し、災害等のリスクを
軽減している
12
ネットワーク拠点
ネットワーク拠点
ネットワーク拠点ネットワーク拠点

13. IIJバックボーンの設計・運用

14. IIJバックボーンの設計・運用
設計
• ネットワーク構成の最適化
• 国内外主要プロバイダとの接続（ピアリング）強化
運用
• サービス障害発生時の対応力強化
• DoS攻撃への対策
14

15. ネットワーク構成の最適化
• 大規模な災害が発生した場合にも、接続性が維持できるバッ
クボーンを目指している
• 過去に発生した設備故障や大規模災害による経験をもとに、
可用性、信頼性の高いバックボーンを実現するため、設計見
直しと構成変更を実施している
15

16. 東日本大震災の影響
• 仙台データセンター向け回線
• 2011年当時の仙台データセンター向けバックボーン回線は、キャリ
アと中継経路を分散していたが、2系統ともに東京の拠点と接続され
ていた
• 地震の影響で2系統とも回線断となり、仙台データセンターが一時的
に孤立した
• 日米国際回線
• 保有していた帯域のうち1/3以上が、津波の影響で利用できなくなっ
たが、ルート分散の効果で通信品質に影響を及ぼすことはなかった
16

17. 東日本大震災当時の国内バックボーン概略図
• 東日本の拠点は東京、西日本の拠点は大阪の複数拠点と異
ルート回線で接続していた
• 東京、大阪で大規模災害が発生した場合に、東西の拠点間で
通信断が起きる可能性があった
17
名古屋エリア
札幌DC広島
福岡DC 仙台DC
大阪エリア 東京エリア
至アメリカ

18. 現在の国内バックボーン概略図
• 東日本の拠点は東京と名古屋、西日本の拠点は大阪と名古屋
の拠点と異ルート回線で接続している
• 東京、大阪で大規模災害が発生した場合でも、名古屋を経由
した通信が可能となっている
18
大阪非通過 東京非通過
札幌DC
大阪エリア 東京エリア
至アメリカ
広島
福岡空港DC 仙台DC
名古屋エリア

19. 国内外主要プロバイダとの接続強化
• インターネットは複数の組織が集まって構成されており、通
信障害はいろいろな組織で起こる
• 通信途中で経由する組織の数が少なければ、通信障害に遭遇
する可能性が下がる
• 多くのプロバイダと接続することにより、多くの組織との通
信で経由する組織を減らすことができる
• 途中経路で通信障害が発生した場合には、別の組織経由へ通
信を迂回し復旧しやすくできる
19

20. 通信障害の例
• 多数のプロバイダと接続していると、影響を受けにくい
20
IIJ プロバイダA プロバイダBお客様
IIJ
プロバイダA
プロバイダB
お客様
障害
障害
多数プロバイダと接続
少数プロバイダと接続
通信
通信
通信
通信先
通信先

21. サービス障害発生時の対応力強化
• バックボーンは、ネットワーク上で提供されるすべてのサー
ビスの共通基盤として利用される
• バックボーンの可用性や信頼性が、各サービスの提供品質に
つながっている
• IoTやクラウド利用の増加により、バックボーンにはより高
い品質が求められる
• 日々発生するインシデントの状況を管理し、適切な対応がと
られているかを振り返り続けることで、バックボーンの可用
性、信頼性が向上するようにしている
21

22. インシデントの取り扱い
• 全インシデントの振り返り
• バックボーンの可用性、信頼性に影響を及ぼす可能性があるインシ
デントについては、通信への影響有無にかかわらず管理している
• インシデント解決までの対応内容を設備部門内でレビューし、優れ
た対応や改善すべき対応の精査と、インシデント対応へのフィード
バックを実施している
• 障害対応訓練
• 過去のインシデントを参照し、各事象についてどのように対応すれ
ば迅速に解決できるのか、検討と訓練を定期的に実施している
• 手順ベースの対応だけでなく、臨機応変に対応できる人材の育成に
力を入れている
22

23. DoS攻撃への対策
• インターネットは世界中と通信が可能で便利だが、世界中か
らサイバー攻撃を受ける可能性がある
• バックボーンの広帯域化により、大量のトラフィックを流し
てサービスを利用できない状態にするDoS攻撃が、大きな問
題となっている
• DoS攻撃への対策をバックボーンとして準備し、影響を最小
限に抑えられるようにしている
23

24. IIJバックボーン
広帯域DDoS対策基盤
• 攻撃は世界各地のDDoS対策装置で分散処理される
24
アメリカの
プロバイダ
DDoS対策基盤
お客様
ヨーロッパの
プロバイダ
アジアの
プロバイダ
DoS攻撃
DoS攻撃
DoS攻撃
アメリカ設置の
DDoS対策装置
ヨーロッパ設置の
DDoS対策装置
アジア設置の
DDoS対策装置
テラビットクラスの
DDoS攻撃に対応可能
最寄りの対策装置で
攻撃に対処

25. 絶対に止まらないバックボーン
• 設計と運用の両面から品質に対する取り組みをすることで、
バックボーンの可用性、信頼性を高めている
• 世の中の変化や様々なインシデント対応の経験を生かして、
臨機応変な対応ができる技術者がバックボーンを支えている
25

26. 本書には、株式会社インターネットイニシアティブに権利の帰属する秘密情報が含まれて
います。本書の著作権は、当社に帰属し、日本の著作権法及び国際条約により保護されて
おり、著作権者の事前の書面による許諾がなければ、複製・翻案・公衆送信等できませ
ん。本書に掲載されている商品名、会社名等は各会社の商号、商標または登録商標です。
文中では™、®マークは表示しておりません。本サービスの仕様、及び本書に記載されて
いる事柄は、将来予告なしに変更することがあります。
ご清聴ありがとうございました