福岡大学における公開用NTPサービス事例（LACNOG2019発表資料日本語版）

福岡大学における公開用NTPサービス事例（LACNOG2019発表資料日本語版）

• 1.
  福岡大学 情報基盤センター 藤村 丞 fujimura@fukuoka-u.ac.jp 西日本電信電話株式会社 谷崎文義 fuminori.tanizaki@west.ntt.co.jp 福岡大学における 公開NTPサービス事例
• 2.
  2 福岡大学とは 目的 2 福岡大学におけるNTPサービス 2 トラフィックとアクセス分析 3なぜこんなことになったのか？ 3 サービス停止実験 4 よくある質問とその回答 4 まとめと結論 本日の目次 1 1
• 3.
  福岡大学とは  私立大学（創立85年）  インターネットには1993年に接続 所在地：福岡県福岡市  学部数：9学部（31学科）  研究科数： 10研究科（33専攻）  学生数： 約20,000名 （大学+大学院）  大学病院3病院  附属高等学校2校  附属中学校1校 3 AS18148 Prefix 133.100.0.0/16 2405:be00::/32
• 4.
  目的  この問題を皆さんと共有したい  NTPトラフィック増加の原因を突き止めたい NTPトラフィックを減らしてサービスを停止し たい 4
• 5.
  NTPとは？  Network TimeProtocol  ネットワークを通じて時刻をあわせる  UDP 123番ポート  パケットサイズは通常90byte  受信も送信も基本的にパケット長は同じ 5
• 6.
  福岡大学におけるNTPサービス  1993年10月運用開始  GPSを用いた日本初の公開NTPサービス 133.100.9.2  133.100.11.8（既にサービス終了） 6
• 7.
  現状のNTPトラフィック 7 最大: 256 Mbps 340,000パケット / 秒 !!  NTPだけ！？
• 8.
  国別アクセス統計  トップ20  2019年6月の統計 ブラジル、アルゼンチン、 メキシコでNTPトラフィック 全体の約26%  世界の239の国と地域か らアクセスがある 8 Rank Country PPS Mbps Percentage 1 Brazil 56,039 42.4 18.1% 2 China 39,468 29.7 12.7% 3 Argentina 20,688 15.8 6.7% 4 Spain 14,905 11.3 4.8% 5 Italy 12,042 9.8 3.9% 6 Germany 11,646 8.8 3.8% 7 United States 10,329 7.9 3.4% 8 Russian Federation 9,451 7.2 3.1% 9 Iraq 8,721 6.6 2.8% 10 Poland 6,613 5.0 2.1% 11 Viet Nam 6,274 4.7 2.0% 12 Greece 6,120 4.6 2.0% 13 Mexico 5,969 4.5 1.9% 14 Japan 5,595 4.2 1.8% 15 United Kingdom 5,054 3.8 1.6% 16 Portugal 3,545 2.7 1.1% 17 Indonesia 3,340 2.5 1.1% 18 India 3,261 2.5 1.1% 19 France 3,094 2.3 1.0% 20 Lebanon 2,979 2.2 1.0% others 73,832 56.0 24.0% Total 308,965 235 100%
• 9.
  LACNICに参加しているアクセス統計  トップ20  2019年6月のアクセス 統計 9 Rank Countries/ regions participating in LACNIC PPS Mbps Percentage 1 Brazil 56,039 42.40 58.66% 2 Argentina 20,688 15.80 21.65% 3 Mexico 5,969 4.50 6.25% 4 Ecuador 2,788 2.10 2.92% 5 Chile 2,196 1.70 2.30% 6 Bolivarian Republic of Venezuela 1,698 1.30 1.78% 7 Costa Rica 995 0.75 1.04% 8 Colombia 948 0.73 0.99% 9 Uruguay 887 0.68 0.93% 10 Paraguay 769 0.59 0.80% 11 Dominican Republic 638 0.48 0.67% 12 Peru 513 0.39 0.54% 13 Guatemala 397 0.31 0.42% 14 Plurinational State of Bolivia 380 0.29 0.40% 15 Panama 194 0.15 0.20% 16 Honduras 188 0.14 0.20% 17 Guyana 45 0.03 0.05% 18 Curaçao 39 0.03 0.04% 19 El Salvador 36 0.03 0.04% 20 Nicaragua 35 0.03 0.04% others 96 0.08 0.10% Total 95,538 72.50 100%
• 10.
  トラフィック量の推移  トラフィック量は増加の一途をたどっている 10 0 50000 100000 150000 200000 250000 300000 350000 0 50 100 150 200 250 300 2015 20162017 2018 2019 Bandwith(Mbps) PPS(Packet per Second) PPSMbps
• 11.
  なぜこんなことになったのか？  マニュアルに設定例として書かれている  L2およびL3スイッチなどのネットワーク機器 複合機など 11
• 12.
   機器のデフォルト設定に福岡大学のNTPサーバのIPv4アドレスが埋め込ま れている！  ただしこれは氷山の一角で、これだけがトラフィック増加の原因ではないと考 えている 12 なぜこんなことになったのか？（2）
• 13.
  NTPネットワーク構成図  キャンパスネットワ ークと公開NTPサ ービスは別ネットワ ーク  NTPトラフィックが キャンパスネットワ ークに影響を与え ないように 公開NTPサービス のネットワークは AS2907とだけ BGP接続している ※ AS18148 … Fukuoka University ※ AS2907… Science Information NETwork （SINET） by National Institute of Informatics ※ AS4713 … Open Computer Network（OCN） by NTT Communications Corporation AS4713AS2907 The Internet NTP server Flow collector AS18148 133.100.0.0/21 133.100.8.0/24 133.100.10.0/24 133.100.12.0/22 133.100.16.0/20 133.100.32.0/19 133.100.64.0/18 133.100.128.0/17 133.100.9.0/24 133.100.11.0/24 Campus Network BGP router peer BGP router for NTP BGP router peer 13 peer
• 14.
  14 サービスを停止するか フィルタすればいいのでは？
• 15.
  NTPサービス停止実験概要  NTPサービスを停止したときにリクエストパ ケットがどのように推移するかを確認する  実験日時（UTC+0900） 2019年06月30日（日） 午前9時から午後5時  対象  133.100.9.2宛の全てのNTPリクエストを AS18148のBGPルータで破棄 15
• 16.
  実験結果 16  約740Mbps、約95万ppsまで増加  増加幅、約500Mbps、約60万pps サービス停止サービス再開
• 17.
  トラフィックパターン  停止実験中にある特定のIPアドレスに注目し て分析するとリクエストのパターンは以下の3 つに分類される  5分毎や10分毎にリクエストがある crontab: 5/* * * * * ntpdate 133.100.9.2  ある一定の間隔(例：1024秒)でアクセスがあ る  ntpdかそれに類するソフトウェア  サービスを停止するとリクエストが増え、サー ビスを再開するとリクエストが減る  これなに？？？？？  トラフィック増加の原因 17
• 18.
  実験結果から  NTPサービスが停止するとトラフィックが増 加する  極端に増加する何らかの実装が存在する トラフィックが何処まで増加するかわかって いない  今回は短時間の実験のため次回はもう少し長 い時間で実験予定  単純にこのサービスを停止できない 18
• 19.
  よくある質問と答え（１）  上流のISPでフィルタしてもらえば？  技術的には可能ですが、ISPで長期に渡り そのフィルタを維持し続けてもらうことが難 しいと考えている 様々な製品のファームウェアにアドレスが埋 め込まれていることから、リクエストパケットは 長期に渡り送られ続けると予想しています  例えば数年後にそのフィルタが意図せず削除 された場合、福岡大学に向けて多量のリクエ ストパケットが流入してくる恐れがあります 19
• 20.
  よくある質問と答え（2）  間違った（嘘の）時刻を返したら いいのでは？  技術的には可能ですが、その影響を懸念 しています 多種多様なNTPクライアントからのアクセスが あると思われるが、それらが嘘の時刻を受け 取ったときにどのようになるかが予測できない  例えば、嘘の時刻が原因でその機器が動か なくなった場合に、一番最初に被害をうけるの はそれを使っているエンドユーザーである 20
• 21.
  よくある質問と答え（3）  どのように停止させようと考えていますか？  BGPなどの経路制御を使い以下の方法を検 討しています リクエストパケットを自ネットワーク内の特定の場 所に集めて、 ネットワーク機器のブラックホール に落とす  NTPサーバが含まれるプレフィックスを経路広告 しない  そのトラフィックを継続的に計測・分析する予 定です 21
• 22.
  まとめ  公開NTPサービスの統計  約340,000リクエスト/秒 今でも少しずつ増えている  アクセス元  世界中の様々な国から  福岡大学のネットワークにとって…  これ以上のアクセス増は望ましくない  今仮にサービスを停止すると…  リトライリクエストが大量に押し寄せてくる 22
• 23.
   福岡大学公開NTPサービスを使用しないでくださ い  マニュアルに記載されていても使用しないで ブロードバンドルータやIoT機器などのNTPサーバの 設定を確認していただきたい  ファームウェア開発者の方々へ  NTP設定のデフォルトに133.100.9.2もしくは 133.100.11.8が設定されていないか確認をお願いし ます  もし使用されていた場合には変更をお願いします  マニュアル作成者の方々へ  NTPの設定例に133.100.9.2もしくは133.100.11.8を 記載しないでください 23 連絡先: Sho FUJIMURA (ntp-admin@fukuoka-u.ac.jp) 皆様へお願い
• 24.
  結論  トラフィックの原因を突き止めたい  NTPトラフィックが集中しているので それを減らしたい 公開NTPサービスを停止したい 24 皆様のご協力をお願いいたします 連絡先: Sho FUJIMURA (ntp-admin@fukuoka-u.ac.jp)
• 25.
  ご静聴ありがとうございました Contact information: ShoFUJIMURA (ntp-admin@fukuoka-u.ac.jp)