［2020/12/14～17開催「IIJ Technical WEEK 2020」の講演資料です］ バックボーンを運用していると日々さまざまなインシデントが発生します。そこから垣間見えるインターネットの実情と、それに対してIIJがどう取り組んでいるかを説明します。 講演者：IIJ 基盤エンジニアリング本部 ネットワーク技術部 ネットワーク運用課長 堀 高房

1. IIJ Technical WEEK 2020
バックボーン運⽤から⾒るインターネットの実情
IIJ/AS2497 hori

2. IIJのバックボーンネットワーク
• MPLS基盤上に様々なIPネットワークを構築
• ⽇本を中⼼に北⽶、アジア、ヨーロッパへ展開
• 40+ POP、15 IX、3,500+ノード
https://www.iij.ad.jp/company/backbone/
MPLS(L2VPN)
IPBackbone
(AS2497)
L3VPN
EPC
WDM 専⽤線(外部調達)
… … …
サービス
Broadband

3. 設計・運⽤ポリシー
• Keep it simple.
• セオリー、運⽤者の直感、開発者の意図に反しないシンプルな設計
• 複雑で汚いネットワークはミスを誘発し、バグを踏み抜く
• 良いネットワークは美しい
• SPOF ダメ。ゼッタイ。
• メーカ、アーキテクチャ、OS
• キャリア、ファイバルート、ケーブルシステム、監視システム、NOC
• それでも様々な要因によるインシデントは絶えない😰
• 監視で検知するインシデントは⽉間およそ700件
• 多くは単純な機器や回線故障だが、中には厄介なものも…

4. DDoS - インシデントの代表格
• 最近の傾向
• (バックボーンレベルで対処するのは) 今も昔も単純なUDP Flood
• 短時間 & 数10Gbpsが⼤半、⻑時間 & 100Gbps超がときどき
• (推測) 政治的思想から⾦銭⽬的に、脆弱なPCからIoTデバイスに、
アジアからヨーロッパに変化
https://www.iij.ad.jp/dev/report/iir/046.html
2019年 DDoS観測情報サマリ

5. DDoS - IIJとDDoSの歴史
• 最初期 (200x年)
• 政治的軋轢をきっかけとした官公庁宛攻撃への対処がその起源
• ルータやFirewallで挑み、当然の如く惨敗
• 専⽤装置を取り寄せ急遽導⼊、そのノウハウを活かしサービス化
• 初期 (2005年頃)
• インライン(平常時から装置を経由)/集約型。数Gbps
• 中期 (2012年頃)
• オフライン(xFlowで検知、BGPで装置に誘導)/集約型。数10Gbps
• 現在 (2017年頃)
• オフライン/分散型(世界各地にScrubbing Centerを展開)。数Tbps

6. DDoS - 攻撃対象に応じた戦略
• DDoS対策サービスを契約している顧客
• 直接的にお⾦が得られる😋
• 顧客に応じたオーダーメイドの⾼度な防御
• ⾃社インフラ
• ネットワーク、サーバへの直接攻撃。顧客宛の流れ弾も
• 事前の策は講じやすい
• DDoS対策サービスを契約していない顧客
• 実はここが⼀番厄介
• 他の顧客への波及を防ぐのが第⼀優先、防御ではなく遮断

7. DDoS - はじめの⼀歩から将来へ
• 何はともあれモニタリング
• xFlowは必須
• 輻輳の迅速な検知にはTelemetryも
• DDoS対策専⽤装置の導⼊
• コストに⾒合うメリットを⾒出せるか?
• オフライン型装置に誘導/防御した後の考慮 (ルーティング、帯域)
• 単純な物量攻撃に専⽤装置はコスパ悪し
• 多層化でキャパシティを⼤幅UP ← IIJはイマココ
• ”防御”ではなく”遮断”なら⾼価な専⽤装置は不要 (RTBHやFlowspec)

8. イベントトラフィック - トラフィックは突然に
• とある穏やかな午後、突如として⽇⽶間のトラフィックが倍増
• 障害やメンテナンスで数本の回線が使えない最悪のタイミング😭
• 送信元は⼤⼿CDN
• 北⽶のみならず世界各地から流⼊
とある⽇の⽇⽶間トラフィック

9. イベントトラフィック - トラフィックは突然に
• SNSで調べてみると…
• (偶然?)⼈気ゲームの⼤型アップデートが複数同時リリースされていた
• 社内のゲーマーに確認
• ネットワーク屋泣かせのトラフィック
• 昔はP2PやOSアップデート、今はゲームのアップデート
• 数10GB/⼈ x 数千? 数万?ユーザが⼀⻫ダウンロード
• ある意味DDoSだが全て正規の通信、運ぶしかない
• 本当のDDoSのほうが対処しやすい😎
アップデート

10. イベントトラフィック - CDNのご利⽤は計画的に
• CDNのトラフィックは神出⻤没
• CDNとの接続帯域、CDN⾃体の設備帯域次第
• ⾜りないと海を越えてあらゆるところから流⼊
• ライブ等、動画配信も要注意
• 東京オリンピック、テレビ放送と連動した配信
• IIJもグループに が… (ご迷惑をおかけしていたらすみません)
• 事業者間情報共有の枠組みが必要
• 実はCDN事業者も把握しきれていない?
• CDNを使うサービス提供者にも⼯夫を促したい

11. 経路障害 - 安⼼してください、漏らしてませんから
• つい先⽇、海外のとあるASからこんな問い合わせが…
• ピアの経路をピアに漏らすのはご法度
• 調べるも漏らした形跡はない。そもそもそんな経路はあり得ない
• 何者かが経路を詐称し広告した可能性
• その後AS xとの連絡は途絶え真相究明には⾄らず、実害も不明
AS a AS2497 AS b AS c AS x
“AS a, AS2497, AS c, AS x”というAS-PATHの経路がある
君たちがAS aに経路リークしているから停めてくれ

12. 経路障害 - 知らぬが仏と⾔うけれど
• 経路障害は今この瞬間も起きている…かも
• 故意か過失かを問わず
• 世間を騒がし明るみに出るのは氷⼭の⼀⾓
• そもそも何が正しいかを誰も知らない
• インターネットの経路交換は⾃⼰申告の世界
• インターネットは奇跡的になんとか成り⽴っている
• ⼈類が依存するにはあまりに脆弱
• (⼀⽅で、依存してもいいかと思う程度には安定してるのがおもしろい)

13. 経路障害 - 信頼性向上の取り組み
https://storage.googleapis.com/site-media-prod/meetings/NANOG79/2198/20200530_Snijders_Lessons_Learned_Ntt_S_v1.pdf
IIJ(予定)
• RPKIによる送信元ASの検証 (ROV: Route Origin Validation)
• Draft 2008年、RFC6811 2013年を経て、ここ数年各ASで導⼊が盛ん
• IIJ/AS2497もデプロイ中完了👍 保有IPのROAも順次作成中
• ROVが防ぐ経路障害はごく⼀部
• 今後も信頼性向上の取り組みは続く

14. まとめに代えて
(個⼈の感想です)
• インターネットの重要性とそれに関わる楽しさを再認識した1年
• インターネット、さらにはバックボーン復権の時代
• 今をときめく最先端領域にも引けを取らない陽の当たるべき仕事
• 社内でプレゼンス向上活動を実施中。社外の⽅もぜひ
• IIJ/AS2497は今後もコミュニティと共にインターネットの発展に
寄与します
• Come join us!