© 2017 UNICAST INC.
2017年10月13日
株式会社ユニキャスト
ゆるUniStudy
第5回
ユニキャスト本社のネットを支える技術
自己紹介
© 2017 UNICAST INC. 1
株式会社ユニキャスト
ソフトウェアエンジニア
野口 航(Wataru NOGUCHI)
@wnoguchi
https://blog.pg1x.com/
• 茨城大学3年の時にアルバイトとしてユニキャストに参加
• 大学卒業と同時に入社
Acclaim
https://goo.gl/fwxMRB
LPIC
Level1 Certified Engineer
Level2 Certified Engineer
Leve3 Certified Engineer
Virtualization &High Availability
アジェンダ
© 2017 UNICAST INC. 2
1. ネットが遅い!
2. 懸念事項
3. NURO光が会社にやってきた!
4. 問題発生
5. PBR(Policy-Based Routing)を設定する
6. 2重NAT問題
7. 質疑応答
ネットが遅い!
© 2017 UNICAST INC. 3
• GitHubからのソースコードのクローンに時間がかかる
• jQueryのCDNからのダウンロードに時間がかかる
• 弊社Webサイトの相対的な閲覧エクスペリエンスが非常
に悪い
• 4GBのISOファイルのダウンロードとか1時間とか平気でかか
る
• 特に海外のデータのダウンロードは死ぬほど遅い
• bundle installも遅い
• 数十KB/sec
ネットが遅い!
© 2017 UNICAST INC. 4
• NGNのPPPoEサーバが慢性的に混んでいる
• インターリンクの海外への経路が遠い
• そもそも社内の無線LANがだめ
考えられる原因
ネットが遅い!
© 2017 UNICAST INC. 5
AA氏の証言
ネットが遅い!
© 2017 UNICAST INC. 6
うわっ…
弊社のネット、遅すぎ…?
ネットが遅い!
© 2017 UNICAST INC. 7
そうだ、NURO光にしよう。
懸念事項
© 2017 UNICAST INC. 8
• NURO光は提供範囲内だがNURO Bizは提供範囲外
• 固定IPはNURO Bizじゃないと提供されない
• 企業にとって固定IPは重要事項
• VPN
• SSH
• アクセス制限
• …etc
NURO光が会社にやってきた!
© 2017 UNICAST INC. 9
• 2回の工事を経て開通
• 落雷の影響でONU兼ルーターのACアダプターが死亡
• 交換してもらい、ようやく開通(ACアダプタは互換品でとり
あえず使える)
• グローバルのIPv6プレフィックスも普通にふってきてIPv6の
サイトも見られる
NURO光が会社にやってきた!
© 2017 UNICAST INC. 10
NURO光が会社にやってきた!
© 2017 UNICAST INC. 11
圧倒的ではないか我軍は
移行の際にやったこと
© 2017 UNICAST INC. 12
• ONUがどうしてもブリッジできない
• ONUでNAPTはやってほしくないけどできない
• どうしても2重NAPTにせざるを得なかった
• 静的ルーティングぐらい設定させてほしい
• 完全にスタブネットワーク(家庭用)想定
• とりあえず既存のネットワークに影響を与えずに移行できた
(ように見えた)
• 既存のサーバールーム宛のトラフィックは静的ルーティング
を設定した
• 正直サブネット増え過ぎなのでOSPF設定したい
問題発生
© 2017 UNICAST INC. 13
• Skypeがぶつぶつ途切れるんだけどー
• IPアドレスでアクセス制限している
• SSHできないんだけどー
• サイトが見えないんだけどー
• FTPアクセスできないんだけどー
問題発生
© 2017 UNICAST INC. 14
全部動的グローバルIP
アドレスのせいだ
PBR(Policy-Based Routing)を設定する
© 2017 UNICAST INC. 15
そうだ、PBRにしよう。
PBR(Policy-Based Routing)を設定する
© 2017 UNICAST INC. 16
• このプロトコルのときはこっちのゲートウェイに流す
• この宛先のときはこっちのゲートウェイに流す
• というようなことでポリシーに基づいたルーティングができ
る
• CCNP R&Sで勉強しました
• YAMAHAではフィルタ型ルーティングと呼ぶ
PBR(Policy-Based Routing)を設定する
© 2017 UNICAST INC. 17
• 弊社管理グローバルIPへの通信はすべて固定IPの使える既存
のインターリンク回線に流す
• それ以外のブラウジング等のトラフィックはNURO光側に流
す
ポリシーの決定
PBR(Policy-Based Routing)を設定する
© 2017 UNICAST INC. 18
Internet
社内
インターリンク
NURO
PBR設定
NAPT
動的NAT
固定IPが必要な通信
通常のブラウジング
トポロジ
PBR(Policy-Based Routing)を設定する
© 2017 UNICAST INC. 19
# 左から順に評価されるデフォルトゲートウェイ設定
# 1. 管理しているIPアドレスにマッチすればインターリンク側のゲートウェイに流す
# 2. 社内からのトラフィックであればNURO側のONUに流す
# 3. どれにも該当しなければ既存ネットワークに流す
ip route default gateway 172.16.1.1 filter 210020 210030 gateway
172.16.15.254 filter 210010 gateway 172.16.1.1
# 社内からのトラフィックを表すフィルタ
ip filter 210010 pass 172.16.123.0/24 * * * *
# 管理しているIPアドレス宛先を定義するフィルタ
ip filter 210020 pass *
172.16.0.0/12,192.0.2.0/24,198.51.100.0/24 * * *
ip filter 210030 pass * 203.0.113.123 * * *
コンフィグ概要
2重NAT問題
© 2017 UNICAST INC. 20
• Skypeがぶつぶつ切れる問題はNAPTではなく動的NATにした
# NAPT ではなく NAT を使う
nat descriptor type 300 nat
# 動的NAT の IP アドレス対応付けをおこなう
nat descriptor address outer 300 172.16.14.1-172.16.14.254
nat descriptor address inner 300 172.16.10.1-172.16.10.254
2重NAT問題
© 2017 UNICAST INC. 21
• Skypeぶつ切れ問題はまだ解決せず
• 頻繁には切れなくなったが何回か切れる
• 静的NATのエントリ設定しなきゃダメかも。。。
• というかブリッジさせてくれ
2重NAT問題
© 2017 UNICAST INC. 22
俺達の戦いはこれからだ!
リンク
© 2017 UNICAST INC. 23
• NURO 光がやってきたので RTX1210 でポリシーベースルー
ティングを実装する | ユニキャストラボ
• https://lab.unicast.ne.jp/2017/08/30/implement-policy-
based-routing-with-nuro-hikari/
詳細はこちら↓
質疑応答
© 2017 UNICAST INC. 24
25
ご清聴ありがとうございました。
© 2017 UNICAST INC.

ユニキャスト本社のネットを支える技術

  • 1.
    © 2017 UNICASTINC. 2017年10月13日 株式会社ユニキャスト ゆるUniStudy 第5回 ユニキャスト本社のネットを支える技術
  • 2.
    自己紹介 © 2017 UNICASTINC. 1 株式会社ユニキャスト ソフトウェアエンジニア 野口 航(Wataru NOGUCHI) @wnoguchi https://blog.pg1x.com/ • 茨城大学3年の時にアルバイトとしてユニキャストに参加 • 大学卒業と同時に入社 Acclaim https://goo.gl/fwxMRB LPIC Level1 Certified Engineer Level2 Certified Engineer Leve3 Certified Engineer Virtualization &High Availability
  • 3.
    アジェンダ © 2017 UNICASTINC. 2 1. ネットが遅い! 2. 懸念事項 3. NURO光が会社にやってきた! 4. 問題発生 5. PBR(Policy-Based Routing)を設定する 6. 2重NAT問題 7. 質疑応答
  • 4.
    ネットが遅い! © 2017 UNICASTINC. 3 • GitHubからのソースコードのクローンに時間がかかる • jQueryのCDNからのダウンロードに時間がかかる • 弊社Webサイトの相対的な閲覧エクスペリエンスが非常 に悪い • 4GBのISOファイルのダウンロードとか1時間とか平気でかか る • 特に海外のデータのダウンロードは死ぬほど遅い • bundle installも遅い • 数十KB/sec
  • 5.
    ネットが遅い! © 2017 UNICASTINC. 4 • NGNのPPPoEサーバが慢性的に混んでいる • インターリンクの海外への経路が遠い • そもそも社内の無線LANがだめ 考えられる原因
  • 6.
  • 7.
    ネットが遅い! © 2017 UNICASTINC. 6 うわっ… 弊社のネット、遅すぎ…?
  • 8.
    ネットが遅い! © 2017 UNICASTINC. 7 そうだ、NURO光にしよう。
  • 9.
    懸念事項 © 2017 UNICASTINC. 8 • NURO光は提供範囲内だがNURO Bizは提供範囲外 • 固定IPはNURO Bizじゃないと提供されない • 企業にとって固定IPは重要事項 • VPN • SSH • アクセス制限 • …etc
  • 10.
    NURO光が会社にやってきた! © 2017 UNICASTINC. 9 • 2回の工事を経て開通 • 落雷の影響でONU兼ルーターのACアダプターが死亡 • 交換してもらい、ようやく開通(ACアダプタは互換品でとり あえず使える) • グローバルのIPv6プレフィックスも普通にふってきてIPv6の サイトも見られる
  • 11.
  • 12.
    NURO光が会社にやってきた! © 2017 UNICASTINC. 11 圧倒的ではないか我軍は
  • 13.
    移行の際にやったこと © 2017 UNICASTINC. 12 • ONUがどうしてもブリッジできない • ONUでNAPTはやってほしくないけどできない • どうしても2重NAPTにせざるを得なかった • 静的ルーティングぐらい設定させてほしい • 完全にスタブネットワーク(家庭用)想定 • とりあえず既存のネットワークに影響を与えずに移行できた (ように見えた) • 既存のサーバールーム宛のトラフィックは静的ルーティング を設定した • 正直サブネット増え過ぎなのでOSPF設定したい
  • 14.
    問題発生 © 2017 UNICASTINC. 13 • Skypeがぶつぶつ途切れるんだけどー • IPアドレスでアクセス制限している • SSHできないんだけどー • サイトが見えないんだけどー • FTPアクセスできないんだけどー
  • 15.
    問題発生 © 2017 UNICASTINC. 14 全部動的グローバルIP アドレスのせいだ
  • 16.
    PBR(Policy-Based Routing)を設定する © 2017UNICAST INC. 15 そうだ、PBRにしよう。
  • 17.
    PBR(Policy-Based Routing)を設定する © 2017UNICAST INC. 16 • このプロトコルのときはこっちのゲートウェイに流す • この宛先のときはこっちのゲートウェイに流す • というようなことでポリシーに基づいたルーティングができ る • CCNP R&Sで勉強しました • YAMAHAではフィルタ型ルーティングと呼ぶ
  • 18.
    PBR(Policy-Based Routing)を設定する © 2017UNICAST INC. 17 • 弊社管理グローバルIPへの通信はすべて固定IPの使える既存 のインターリンク回線に流す • それ以外のブラウジング等のトラフィックはNURO光側に流 す ポリシーの決定
  • 19.
    PBR(Policy-Based Routing)を設定する © 2017UNICAST INC. 18 Internet 社内 インターリンク NURO PBR設定 NAPT 動的NAT 固定IPが必要な通信 通常のブラウジング トポロジ
  • 20.
    PBR(Policy-Based Routing)を設定する © 2017UNICAST INC. 19 # 左から順に評価されるデフォルトゲートウェイ設定 # 1. 管理しているIPアドレスにマッチすればインターリンク側のゲートウェイに流す # 2. 社内からのトラフィックであればNURO側のONUに流す # 3. どれにも該当しなければ既存ネットワークに流す ip route default gateway 172.16.1.1 filter 210020 210030 gateway 172.16.15.254 filter 210010 gateway 172.16.1.1 # 社内からのトラフィックを表すフィルタ ip filter 210010 pass 172.16.123.0/24 * * * * # 管理しているIPアドレス宛先を定義するフィルタ ip filter 210020 pass * 172.16.0.0/12,192.0.2.0/24,198.51.100.0/24 * * * ip filter 210030 pass * 203.0.113.123 * * * コンフィグ概要
  • 21.
    2重NAT問題 © 2017 UNICASTINC. 20 • Skypeがぶつぶつ切れる問題はNAPTではなく動的NATにした # NAPT ではなく NAT を使う nat descriptor type 300 nat # 動的NAT の IP アドレス対応付けをおこなう nat descriptor address outer 300 172.16.14.1-172.16.14.254 nat descriptor address inner 300 172.16.10.1-172.16.10.254
  • 22.
    2重NAT問題 © 2017 UNICASTINC. 21 • Skypeぶつ切れ問題はまだ解決せず • 頻繁には切れなくなったが何回か切れる • 静的NATのエントリ設定しなきゃダメかも。。。 • というかブリッジさせてくれ
  • 23.
    2重NAT問題 © 2017 UNICASTINC. 22 俺達の戦いはこれからだ!
  • 24.
    リンク © 2017 UNICASTINC. 23 • NURO 光がやってきたので RTX1210 でポリシーベースルー ティングを実装する | ユニキャストラボ • https://lab.unicast.ne.jp/2017/08/30/implement-policy- based-routing-with-nuro-hikari/ 詳細はこちら↓
  • 25.
  • 26.