本当は楽しいインターネット

1. 2014/09/14 情報科学若若⼿手の会本当は楽しいインターネットインターネットの仕組みと運⽤用インターネットマルチフィード株式会社技術部川上雄也

2. 注意書き n この資料料は2014年年9⽉月14⽇日に開催された「情報科学若若⼿手の会2014」における若若⼿手特別講演での発表に使⽤用した資料料です n 誤記の修正や補⾜足の追加、内容の削除、順序の変更更など、発表時の資料料と異異な 2014 (c) INTERNET MULTIFEED CO. 2 るところがあります n この資料料は初学者向けにわかりやすく説明することを⽬目的としたものであり、厳密には正しくない内容が含まれている可能性があります n この資料料は全て公開されている情報に基づいて作成されています n この資料料に含まれるデータは、2014年年9⽉月13⽇日時点において取得可能であったものを利利⽤用しています n この資料料の中で引⽤用している画像の著作権は元の著作者に帰属します n この資料料を利利⽤用することによって発⽣生した、いかなる損害やトラブルについても責任を負いません n 所属を記載しておりますが、業務として⾏行行った発表ではありませんので、所属組織の意向や⾒見見解を反映したものではありません n もしこの資料料に誤りがありましたら遠慮無くお知らせください

3. 川上雄也 (@yuyarin, ゆやりん) インターネットマルチフィード株式会社技術部ネットワークエンジニアインターネットエクスチェンジ「JPNAP」の運⽤用学⽣生時代にインターネットの魅⼒力力に取りつかれる 2014 (c) INTERNET MULTIFEED CO. 3

4. この発表の動機インターネット萌え 2014 (c) INTERNET MULTIFEED CO. 4

5. インターネットとはインターネット・プロトコル技術を利利⽤用した相互接続によるコンピュータ・ネットワークネットワークのネットワーク（インターネットワーク）相互接続 [Wikipedia] IP通信IP通信ネットワークαネットワークβ 2014 (c) INTERNET MULTIFEED CO. 5

6. インターネットとAS 相互接続している個々の独⽴立立したネットワークを⾃自律律システム(Autonomous System, AS)と呼ぶ ASαASβ 相互接続ネットワークαネットワークβ 2014 (c) INTERNET MULTIFEED CO. 6

7. AS（⾃自律律システム）単⼀一のルーティングポリシーに基づいて運⽤用される機器の集合(ドメイン)で固有の番号(AS番号)が割り当てられる AS65001AS65002 相互接続ネットワークαネットワークβ 2014 (c) INTERNET MULTIFEED CO. 7

8. 知っておくと便便利利なAS番号 n 国内キャリア・ISP AS番号会社代表サービス 2497IIJ 2516KDDIau, au one net 2914NTTコミュニケーションズntt.net 4713NTTコミュニケーションズOCN 4725ソフトバンクテレコムODN 9605NTTドコモmopera 17505ソフトバンクモバイル 17676ソフトバンクBBYahoo!BB 2014 (c) INTERNET MULTIFEED CO. 8 n コンテンツプロバイダ同じ会社でもポリシーが違うとASを分ける 714Apple 13414Twitter 15169GoogleYouTube 23576LINE 38634dwangoニコニコ動画

9. インターネット・プロトコル(IP) インターネットワーキングにおいてパケットを転送するためにに使われるプロトコル End-to-End ネットワークを超えて宛先までデータを運ぶだけよ！コネクションレス相⼿手にいきなりパケットを送りつけるよ！ベストエフォートでもちゃんとパケットが相⼿手に届くかなんて知らない！ステートレス今何の通信をやっててどうなってるかなんて知らない！プロトコルには役割分担がある 2014 (c) INTERNET MULTIFEED CO. 9

10. Internet Protocol Suite 今⽇日インターネットで使われている通信プロトコルの⼀一式アプリケーション層 HTTP, SMTP, SSH, etc アプリケーションのための制御をするよ！ TCP, UDP IPv4, IPv6 Ethernet, 802.11(無線LAN), ATM, FDDI, 2014 (c) INTERNET MULTIFEED CO. 10 トランスポート層通信の状態を管理理してデータの信頼性を保証してやんよ！(TCP) ネットワーク層とりあえず頑張ってデータを宛先まで運ぶだけよ！(IP) データリンク層物理理メディアを使うことなら任せろ！上位

11. 2014 (c) INTERNET MULTIFEED CO. 11 レイヤー (Layer) 各機能は上下関係にあるのでレイヤーと表現する下位レイヤーに⾏行行くほどヘッダが追加されていくデータ TCP ヘッダ IP ヘッダ Etheret ヘッダ Etheret フッタ TCP データ IPデータ Ethernet データアプリケーション層トランスポート層ネットワーク層データリンク層

12. IPルーティング (Routing) 宛先に対してパケットを届けるために経路路情報に基づいて次のルータ(next-hop)を決定する（ルーティング） 2014 (c) INTERNET MULTIFEED CO. 12 ルータ 10.10.10.10 10.10.10.10にパケットを送るためには、どっちのルータに転送すればいい？

13. 経路路広告 (Route Advertisement) 宛先ネットワークの到達情報(経路路)を伝搬させる 10.10.10.10 10.10.10.0/24はこっちだよルーティングプロトコルを使って真ん中の経路路が⼀一番近そうだ！ 2014 (c) INTERNET MULTIFEED CO. 13

14. パケットフォワーディング (Forwarding) ルータはルーティングテーブルに基づいてパケットをnext-hopに転送する（フォワーディング） 10.10.10.10 10.10.10.0/24はこっちだよ真ん中の経路路が⼀一番近そうだ！ 2014 (c) INTERNET MULTIFEED CO. 14

15. 経路路広告とトラフィックの関係経路路を広告するトラフィックが吸い込まれる経路路広告トラフィック 2014 (c) INTERNET MULTIFEED CO. 15

16. IPについて知っておいて欲しいこと 1. パケットは落落ちる（ベストエフォート） ▶ ルータの処理理能⼒力力を超えたものは捨てられる ▶ 転送中にデータが壊れてたときも捨てられる 2. ⾏行行きと帰りの経路路は同じとは限らない（⾮非対称経路路） ▶ 世界⼀一周して帰ってきてるかもしれない！ 3. 宛先に対して評価値が同じ経路路が複数ある場合はどっちにいくのかわからない(ECMP) 4. パケットの到着順序が正しいことは保証されない ▶ 特にECMPの場合経路路で時間差があるので順序が⼊入れ替わる事がある 2014 (c) INTERNET MULTIFEED CO. 16

17. TCPとIPの役割分担 n TCP p コネクション志向 p ステートフル p 再送制御分離離した 2014 (c) INTERNET MULTIFEED CO. 17 n IP p コネクションレス p ステートレス p ベストエフォート信頼性のある通信路路を構築する機能信頼性はないけど宛先まで届ける機能

18. ⽇日本の総トラフィック量量我が国のインターネットにおけるトラヒック総量量の把握 http://www.soumu.go.jp/main_content/000244628.pdf 2014 (c) INTERNET MULTIFEED CO. 18

19. もしもIPで信頼性を担保していたら… 全てのルーターはそのルータを通る通信の状態を管理理しなくてはいけない再送制御、順序制御輻輻輳制御、フロー制御スケールしない！！ 2014 (c) INTERNET MULTIFEED CO. 19 送信先アドレス送信元アドレス送信先ポート送信元ポートプロトコル状態 AB8023456TCPEstab …… … … … … セッションごとのコネクションステート管理理

20. インターネットの萌えポイント１ TCP/IPの機能分離離によってインターネットは全世界規模でスケールできている！ 2014 (c) INTERNET MULTIFEED CO. 20

21. インターネットにおける相互接続(ピア) 相互接続してお互い⾃自⾝身の経路路情報を交換してお互いのASへの到達性を確保する関係をピア(peer)と呼ぶ peerpeer AS ASAS peer 2014 (c) INTERNET MULTIFEED CO. 21

22. インターネットにおける相互接続(トランジット) 相互接続して他のAS（インターネット全体）への到達性を提供することをトランジット(transit)という peerpeer AS AS peer 2014 (c) INTERNET MULTIFEED CO. 22 AS AS 親AS transit ⼦子AS 地理理的に離離れているから全員とはピアできないな僕がつなげてあげるよ

23. インターネットの階層構造ピアだけを⾏行行っている最上位のASをTier1と呼び、そこからトランジットを下るごとにTier2, Tier3と呼ぶ peerpeer peer 2014 (c) INTERNET MULTIFEED CO. 23 transit Tier1 Tier2 Tier3 ※実際にはこんなにきれいな階層構造にはならない

24. 各Tierのプロバイダの例例 n Tier1 ISP (2014年年9⽉月現在13社) http://en.wikipedia.org/wiki/Tier_1_network AS番号会社国 2914NTTコミュニケーションズ⽇日本 7018ATTアメリカ 3356LEVEL3アメリカ 1239Sprintアメリカ 6453TATAインド 2014 (c) INTERNET MULTIFEED CO. 24 n Tier2 ISP n Tier3 ISP p 地域ISP 国内Tier1とも呼ばれる 4713NTTコミュニケーションズ(OCN) 2516KDDI 4725ソフトバンクテレコム 2497IIJ

25. トランジットとお⾦金金(1) トランジットにはお⾦金金がかかる！ n ⼦子ASがトラフィックを流流せば流流すだけ、親ASの設備を通って⾏行行くだけのトラフィックが増えるので設備投資費が必要になる n ⼦子ASからお⾦金金をもらう（トランジット料料⾦金金） n だいたいの場合で帯域での⽉月額従量量課⾦金金 p Mbpsあたり何円（メガ単価） p ケータイと違って累累積パケット量量じゃないお⾦金金もらわないとやってらんないぜ peer 親AS transit ⼦子AS 2014 (c) INTERNET MULTIFEED CO. 25

26. トランジットとお⾦金金(2) ピアを張ってお⾦金金を節約する！ n 下位AS同⼠士の通信量量が多くなってくると、双⽅方のASにとってトランジット費⽤用が負担になってくる n 直接ピアを張って経路路交換することができれば、品質(*1)も上がるし、お⾦金金を節約できる！ transit peer 2014 (c) INTERNET MULTIFEED CO. 26 transit ⼦子AS 親AS ※１：ここでいう品質は主に「遅延の⼩小ささ」

27. クイズ n 各ASが以下の関係にあるとき、ノートPCからサーバへの通信は⼀一般的にどこを経由するでしょうか？ a transit bc transitpeer def peerpeer 2014 (c) INTERNET MULTIFEED CO. 27

28. 間違った回答１ n ⼀一⾒見見最適なパス n ｄはｅに流流したいけど、ｅにとっては素通りになるので流流してほしくない a transit bc transitpeer def peerpeer タダで素通りされたら損！ 2014 (c) INTERNET MULTIFEED CO. 28 ｅに流流したらお⾦金金がかからない

29. 間違った回答２ n ｄはｂに流流すしかなくなる n ｂはｅに流流したいが、ｅにとっては素通りになるので流流してほしくない a ｅに流流したら transit お⾦金金が儲かるぜ bc transitpeer def peerpeer 素通りされた上にお⾦金金を払わないといけない！ 2014 (c) INTERNET MULTIFEED CO. 29

30. n みんな⾃自分が損しないようにトラフィックを流流したがる a transit bc transitpeer def 2014 (c) INTERNET MULTIFEED CO. 30 クイズ（正解） peerpeer トランジットに流流すよりタダのピアに流流した⽅方がいい素通りさせない！

31. 経路路制御とトラフィックコントロール経路路の広告をコントロールすることでトラフィックの流流れをコントロールできる a トランジットやピアから transit 来た経路路は⼦子ASに広告する bc transitpeer ⼦子ASの経路路はピアとトランジット両⽅方に広告する def peerpeer ピアから来た経路路は他のピアやトランジットに対して広告しない 2014 (c) INTERNET MULTIFEED CO. 31

32. AS間で経路路制御するためのプロトコル AS間でのルーティングにはBGPが⽤用いられている BGP (Border Gateway Protocol) BGPはパスベクタ型ルーティングプロトコル通ってくるパスとその属性の情報に基づいて経路路を決定する d AS Path: f f b AS Path: d_f c 2014 (c) INTERNET MULTIFEED CO. 32 AS Path: b_d_f a AS Path: c_f パスが短い⽅方を選ぶ AS Path: f 経路路広告

33. BGPで広告されるインターネットの経路路数約520,000経路路 http://bgp.potaroo.net/ 2014 (c) INTERNET MULTIFEED CO. 33

34. 相互接続のまとめ n インターネットはネットワークの相互接続でできている n トラフィックを流流すのにはお⾦金金がかかる p 誰とどうやって接続するかの戦略略が超重要（ピアリング戦略略） n ピア p お⾦金金がかからない接続 p ピア相⼿手への到達性だけを確保する n トランジット p お⾦金金がかかる接続 p ピア相⼿手にインターネットに対する接続性を保証してもらう n BGPで経路路制御することでトラフィックを制御する当初はピア同⼠士でもその後の企業の成⻑⾧長次第ではトラフィックのバランスが崩れてしまい、ピアが解消されてしまうことがある。2005年年にはLevel3がCogentとのピアを解消し、 2008年年のSprintもCogentとのピアを解消し、⼤大きな話題となった。 2014 (c) INTERNET MULTIFEED CO. 34

35. インターネットの萌えポイント２インターネットの相互接続関係とトラフィックの流流れは経済的・地理理的要因に⼤大きく依存している 2014 (c) INTERNET MULTIFEED CO. 35

36. インターネットの萌えポイント３様々な制約の中経路路を制御することで⾃自分のビジネスの利利益を最⼤大化する戦略略ゲームでも⾃自⼰己中はNG 2014 (c) INTERNET MULTIFEED CO. 36

37. もしも２つのルータが同じ経路路を広告したらルーティングプロトコルのアルゴリズムに従って⼀一番近いところにトラフィックは吸い込まれる 10.10.10.0/24はこっちだよ 2014 (c) INTERNET MULTIFEED CO. 37 10.10.10.0/24はこっちだよ

38. もしも２つのルータが同じ経路路を広告したら n 同じ組織/ASがやっていた場合 p IP Anycast p DNS root サーバなどで利利⽤用される (http://www.root-servers.org/) u AからMまでの13種類のルートサーバ u ⼀一番多いL-rootは同じIPアドレスのサーバが世界に152台存在する！ n 別の組織/ASがやっていた場合 p 経路路ハイジャック u スパムメール送信のために⾏行行われる事例例がある p 実際は設定ミスによる物が多いので mis-origin と呼ぶようになった u パキスタンのISPやChina TelecomがYouTubeに対してmis-origin u ベネズエラのASによるGoogle Public DNS (8.8.8.8)に対してmis-origin 2014 (c) INTERNET MULTIFEED CO. 38

39. インターネットについて知っておいてほしいこと 1. インターネットはASが相互接続した⾃自律律分散システムである 2. インターネットのトラフィックは相互接続関係に左右される 3. インターネットの相互接続関係は経済関係に左右される 4. IPアドレスは乗っ取られる p 経路路広告は⾃自主的に⾏行行われる「存在の宣⾔言」である p もしかしたら別の悪意あるサーバにトラフィックが吸い込まれているかもしれない p 経路路広告の正当性証明を⾏行行うRPKIの展開が現在進められている 2014 (c) INTERNET MULTIFEED CO. 39

40. 多くのASとピアを張ると… トランジット費⽤用を下げることができるネットワークが近くなり品質が上がるピアの数だけ回線が必要になる回線ごとの帯域利利⽤用効率率率が悪くなる 2014 (c) INTERNET MULTIFEED CO. 40

41. インターネットエクスチェンジ(IX) どこか⼀一箇所にみんなで集まって、トラフィック交換すれば回線は１本で済むし、帯域利利⽤用効率率率も上がる！！それがインターネットエクスチェンジ(IX) IX 2014 (c) INTERNET MULTIFEED CO. 41 経路路交換＆トラフィック交換 NAP(Network Access Point)とも呼ぶ

42. 主要インターネットエクスチェンジ n 国内 IXGroupPOPTraffic [Gbps] 2014 (c) INTERNET MULTIFEED CO. 42 n 海外 JPNAPNTT東京、⼤大阪418 JPIXKDDI東京、⼤大阪、名古屋248 BBIXSoftbank東京、？？ IX Country代表POPTraffic [Gbps] AMS-IXオランダアムステルダム2972 DE-CIXドイツフランクフルト2876 LINXイギリスロンドン2075 MSK-IXロシアモスクワ1105 PTT.brブラジルサンパウロ562 トラフィック量量は2014年年09⽉月13⽇日時点

43. 教科書的なインターネットの構造 n 巨⼤大なコンテンツプロバイダ(Hyper Giant)の登場で構造は変わってきている http://en.wikipedia.org/wiki/Internet 2014 (c) INTERNET MULTIFEED CO. 43

44. インターネットの運⽤用相互接続する他の組織との信頼関係が重要 n mis-originしてしまったら… p 悪いASだと思われて相互接続してもらえなくなるかも n 通信トラブルが起きた時に… p 何が問題なのかを切切り分けるために、組織を超えた連携が必要になる運⽤用者同⼠士が情報交換して仲良良くなっておき、何かが起きたら即座に連携することができる体制 2014 (c) INTERNET MULTIFEED CO. 44

45. NOG (Network Operators Group) NOGでの情報交換と⼈人脈形成が活発メーリングリストとカンファレンスで活動 JANOG (⽇日本)NANOG (アメリカ) http://jprs.jp/related-info/event/2010/0202JANOG.htmlhttp://drpeering.net/white-papers/NANOG-History.html 2014 (c) INTERNET MULTIFEED CO. 45

46. その他のミーティングとにかくFace to Face、会って話すことが超重要 2014 (c) INTERNET MULTIFEED CO. 46 n Global Peering Forum p ピアリング交渉をするためのイベント n APRICOT p アジア・パシフィック地域でのインターネット関係者のカンファレンス p チュートリアルが豊富 n APNIC p アジア・パシフィック地域でのインターネットのポリシーについて議論論 n RIPE p ヨーロッパ地域でのインターネット関係者のカンファレンス

47. インターネットの萌えポイント４インターネットの安定は運⽤用している⼈人たちが同じ⽬目的に⼀一丸となって円滑滑につながることで実現されている 2014 (c) INTERNET MULTIFEED CO. 47

48. まとめ 1. 地球規模でスケールするTCP/IPの設計すごい 2. インターネットのトラフィック制御は超⾯面⽩白い 3. インターネットの運⽤用には⼈人のネットワークが重要 I ♥ The Internet 2014 (c) INTERNET MULTIFEED CO. 48