Download as PDF, PPTX
Uploaded byIIJ
IIJ Technical DAY 2019 ～ IIJのサーバインフラはここまでやっています
［2019/11/21開催「IIJ Technical DAY 2019」の講演資料です］ IIJは自社サービス・クラウド基盤のために、大量のサーバを運用しています。高品質なサーバインフラを構築することは、サービス運営上、非常に重要です。長年にわたる経験を元に、このたびIIJではデータセンターから個々のサーバまで全体最適を図った新世代のインフラを構築しました。本セッションでは、その着目点を紹介します。 ▼講演者 IIJ 基盤エンジニアリング本部 システム技術部 基盤運営1課長 高畑 雅弘
More Related Content
Similar to IIJ Technical DAY 2019 ～ IIJのサーバインフラはここまでやっています
IIJ Technical DAY 2019 ～ IIJのサーバインフラはここまでやっています
- 1. 1© Internet InitiativeJapan Inc. ＩＩＪのサーバインフラはここまでやっています 株式会社インターネットイニシアティブ ⾼畑 雅弘 基盤エンジニアリング本部 システム技術部 基盤運営１課⻑ 講演２ ＩＩＪ Ｔｅｃｈｎｉｃａｌ ＤＡＹ 2019 | 2019.11.21 Ｔｈｕ 14：30～15：10 IIJ Technical DAY 2019
- 2. 2 スピーカー紹介 株式会社インターネットイニシアティブ 基盤エンジニアリング本部 システム技術部 基盤運営１課⻑ ⾼畑 雅弘 守備範囲： Linux/ Windows ハードウエア / ファシリティ 業務内容： サーバインフラの構築 サービス基盤インフラ（NHN）の運⽤ 趣味： ⾶⾏機に乗ること 基盤エンジニアリング本部 システム技術部 基盤運営１課長 東京都千代田区富士見2-10-2 飯田橋グラン・ブルーム 〒102-0071 Tel: 03-5205-6477 Fax: 03-5205-6537 E-mail: takahata@iij.ad.jp http://www.iij.ad.jp/ 株式会社インターネットイニシアティブ 高 畑 雅 弘
- 3. 3 本⽇お話しすること 1. IIJってインフラ屋なんです 2. 既存データセンターが抱える課題 3.⼟地・電気の問題を解決したデータセンターを作ろう 4. 事業者向けに最適化されたデータセンターを作ろう 5. 新しいサーバインフラを作ろう 6. 本⽇のまとめ
- 4. 4 １．IIJってインフラ屋なんです ＩＩＪ Ｔｅｃｈｎｉｃａｌ ＤＡＹ2019 | ＩＩＪのサーバインフラはここまでやっています
- 5. 5 IIJに対するイメージとは？ サービスを提供するにはなんらかのインフラが不可⽋ 2000年頃 2010年頃 2019年 • 商⽤インターネットの⽼舗 • IIJ4U（ダイヤルアップ接続） •クラウドをやっている会社 • 格安SIMをやっている会社
- 6. 6 IIJってインフラ屋なんです ひとことでインフラと⾔っても • データセンター • ネットワーク •サーバインフラ • オーケストレーター などありますが、 AWS/GCP/Azureでも構わないのですが IIJはこれらを全部やっています 本⽇はサービス基盤インフラであるNHNにフォーカスしてお話しし ます。
- 7. 7 IIJの提供するサービス全体像 ネットワーク事業 インテグ レーション事業 様々な事業 クラウド事業 セキュリティ事業 モバイル事業 Google IIJモバイル 仮想デスクトップ 拠点本社 テレワーク Service Adaptor 無線LAN Docomo byKDDI ID PW IIJ ID SmartKey ファイルサーバ ネットワーククラウド WAN最適化 ADクラウド化 クラウド 振り分け ⾼速&快適 VPN エンドポイント セキュリティ CSOC メール セキュリティ IoT/監視カメラ WANユニット Web分離 Office 365 パブリック プライベート マルチ クラウドSI マルチ クラウド管理 SSO& 認証強化 クラウド移⾏ オンプレ
- 8. 8 IIJの提供するサービス全体像 ネットワーク事業 インテグ レーション事業 様々な事業 クラウド事業 セキュリティ事業 モバイル事業 Google IIJモバイル 仮想デスクトップ 拠点本社 テレワーク Service Adaptor 無線LAN Docomo byKDDI ID PW IIJ ID SmartKey ファイルサーバ ネットワーククラウド WAN最適化 ADクラウド化 クラウド 振り分け ⾼速&快適 VPN エンドポイント セキュリティ CSOC メール セキュリティ IoT/監視カメラ WANユニット Web分離 Office 365 パブリック プライベート マルチ クラウドSI マルチ クラウド管理 SSO& 認証強化 クラウド移⾏ オンプレ 本⽇お話し する領域 本⽇お話し する領域
- 9. 9 IIJサービス向けHaaS/IaaS基盤（NHN）とは 各種IIJサービス（SecureMX や SecureWebGateway等）を稼働させ るためのサービス基盤インフラ • 2009年1⽉に200台から提供開始、今では6,000台※を超える • 2019年10⽉に 6世代⽬（Type-N4）をリリース 0台 2,000台 4,000台 6,000台 2009年 2011年 2013年 2015年 2017年 2019年 NHN物理サーバ台数 Type-N4 Type-N3 Type-N2 Type-N1 Gen2 Gen1 ※2019年11⽉現在
- 10. 10 ２．既存データセンターが抱える課題 ＩＩＪ Ｔｅｃｈｎｉｃａｌ ＤＡＹ2019 | ＩＩＪのサーバインフラはここまでやっています
- 11. 11 既存データセンターが抱える課題（１） 「都市型データセンターはコストが⾼い」 • そもそも⼟地が⾼いうえに場所が狭い 「ラックあたりの電⼒許容量が少ない」 • 15年以上前の設計のため、ラックあたりの電⼒許容量が3kVA前提で 供給電⼒に限界 •配電設計／空調能⼒も限界 • 他のテナントと電気の取り合い ⇒電⼒供給量を増やすには、多⼤な改修費⽤と⼯事期間（電⼒会社含む）が必要 ⇒すでに⾍⾷い状にラックを利⽤しているため、抜本的な対策は困難
- 12. 12 既存データセンターが抱える課題（２） 「ラックの収容台数を最⼤化できない」 • IIJが⼀般的に採⽤するネットワークスイッチは48ポート＝48台 • 1Uサーバ：48U+ スイッチ：3U + パッチパネル：1U ⇒ 52U以上必要 ⇒⼀般的なラックは47Uが最⼤（IIJで使⽤しているものは最⼤49Uまで） 「供給電⼒と空調能⼒のバランスが難しい」 • 供給電⼒に合わせてラックにサーバを詰め過ぎると、空調能⼒が追い付か ず冷やせないため、搭載台数を増やせない ⇒熱溜まりを起こしてしまうとサーバファンの回転数が上がる（＝消費電⼒増） • 空調能⼒に合わせてラックにサーバを詰めると、供給電⼒を使いきれない 状態となり、搭載台数を増やせない
- 13. 13 サーバインフラとして⽬指す⽅向とは？ コストが最⼩になり、結果が最⼤になるものを考える • データセンターにかかるコストを下げたい • ハイスペックなサーバをたくさん設置したい •障害を起こしにくいインフラを作りたい 全てを満たすものはない うまくバランスを取る必要がある
- 14. 14 サーバインフラのコスト低減⽅針と改善策 • コスト内訳毎に低減⽅針を定め、抜本的な改善策を実⾏ ラック費⽤ データセンター 利⽤料 ラック収容効率向上 コスト内訳コスト低減⽅針 設備 投資 CAPEX 運⽤ コスト OPEX IIJが採⽤した改善策 通信機器費⽤ サーバ･ストレージ費⽤ 初期構築費⽤ ⾼性能かつ安価な 機種を選定･導⼊ ⼀度に⼤量導⼊ 機器保守費⽤ 運⽤体制費⽤ 場所代 電気代 安価な⼟地を選ぶ 安価な供給先を選ぶ 保守レベルの最適化 メンテナンス性の ⾼いシステムの導⼊ 土地・電気の問題を解決した データセンターを作ろう 事業者向けに最適化された データセンターを作ろう 新しいサーバインフラを 作ろう 1 2 3 詳細はP.15 詳細はP.17 詳細はP.26
- 15. 15 ３． ⼟地･電気の問題を解決した データセンターを作ろう ＩＩＪ ＴｅｃｈｎｉｃａｌＤＡＹ 2019 | ＩＩＪのサーバインフラはここまでやっています 新データセンター 事業者最適 新サーバインフラ 1 2 3 1
- 16. 16 ⼟地･電気の問題を解決したデータセンターを作ろう ファシリティーコストで⼤きな割合を占めるのは 新データセンター 事業者最適 新サーバインフラ 1 2 3 ⼟地／建物 電気 空調 • 郊外の安い⼟地を探す • 建物を安く作る •特別⾼圧受電設備 • 蓄電池を設置してピークカット • 間接外気空調の採⽤ • IT機器と協調した空調制御 これらを解決するために新たにデータセンターを建築することになりました。 詳細はSlide Shareで公開 中。「⽩井データセンター キャンパスの挑戦」で検索
- 17. 17 ４． 事業者向けに最適化された データセンターを作ろう ＩＩＪ ＴｅｃｈｎｉｃａｌＤＡＹ 2019 | ＩＩＪのサーバインフラはここまでやっています 2 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 18. 18 事業者向けに最適化されたデータセンターを作ろう • データセンター開発部⾨とサーバインフラ開発部⾨が 共同で設計・開発 ⇒サービス事業者の利⽤に適した、60項⽬以上の改善点を提⽰ 今回のDC開発 台 数 12ヵ⽉ 短期に 千台規模の導⼊ 台 数 12ヵ⽉ 不定期に 数⼗台規模の導⼊ ・・・ 新DC 設計・開発 両開発部⾨で 新DC設計・開発に合意 DC 開発部⾨ データセンター開発部⾨ が中⼼となって仕様策定 新DC 設計・開発 ⼀般的な利⽤者を 想定して建築 データセンター開発部⾨と サーバインフラ開発部⾨が 共同で設計･開発 サービス事業者を 想定して建築 DC 開発部⾨ サーバ 開発部⾨ 60項⽬ 以上の 改善点 新しいデータセンターを作るときに「何を気にして、どういう点が 改善に繋がったのか」その⼀部をご紹介していきます これまでのDC開発 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 19. 19 サーバインフラ開発部⾨からの要望（１） ラックの⾼さを増やせないか？ • 国内メーカーが製造しているラックで最⼤47U（2,200㎜） • 海外メーカー製ラックで60U製品は存在している •データセンター内のあらゆる⾼さが搬⼊の妨げになる • 天井まで2,400㎜ • エレベーター、サーバルームの扉、⾮常⼝の看板、防犯カメラの設置位置 【要求仕様】 ラックの最⼤サイズは56Uラックを搬⼊できるようにする 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 20. 20 サーバインフラ開発部⾨からの要望（２） ラックにサーバをより多く搭載できないか？ • 1台約25kgのサーバを48台搭載して約1,200kg • スイッチとLANケーブルを配線していくと約100kg •ラック⾃体の重量が約200kg 【要求仕様】 耐荷重はラックあたり1.5tを超えること より搭載したい場合は隣接ラックで間引くことにする コンクリートスラブなら数tはいける 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 21. 21 サーバインフラ開発部⾨からの要望（３） ⼀度にたくさんのサーバを納品できないか？ • そもそも搬⼊⼝が⼩さい • ⼗分な広さの開梱場所がない •もしくは外部でサーバ搭載済みラックを構築して輸送 • かつてはサーバを搭載したコンテナも輸送した(松江） • データセンターに開梱場所をあらかじめ作ってしまう 【要求仕様】 搬⼊⼝は10トントラックを2台同時に搬⼊できるようにする 搬⼊⼝の横に⼗分に広い開梱スペースを確保 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 22. 22 サーバインフラ開発部⾨からの要望（４） 奥⾏の⻑いサーバを搭載できないか？ • 最近のサーバでは800㎜を越えるものがある • ⾼密度化が進んで以前より奥⾏が⻑くなっている •配線やPDUのサイズを含めると1,000㎜では⾜りない • 光ケーブルの曲げ径限界やラック扉の内側の構造でさらに必要 【要求仕様】 標準で1,200㎜のラックを採⽤ 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 23. 23 サーバインフラ開発部⾨からの要望（５） ラック前のスペースが狭い • 構築時にラックが設置されていない所は⽐較的スペースに余裕があるが、 ラックを建ててしまうとその余裕がなくなる • 列間1,200㎜（ホットアイル/コールドアイル共に） 【要求仕様】 列間1,800㎜（コールドアイルのみ） ルームあたり2列削る / 1列あたり2ラック削る • 仮に使えるラックが減っても使える電⼒総量はかわらない • 1ラックあたりに使える電⼒量が増える 元仕様：1800kVA ÷ 300ラック ＝ 6kVA 新仕様：1800kVA ÷ 234ラック ≒ 7.7kVA 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 24. 24 サーバインフラ開発部⾨からの要望（６） フリーアクセスフロア • 海外のデータセンターではフリーアクセスフロアでなくコンクリートスラ ブも多い • 耐震/制震のことを全く考えていないわけではない •2F以上だとわりと揺れるが1Fでは耐震でもいける • ⽩井DCCの⽴地は、⼤規模地震での被害想定は⾼くない • フリーアクセスフロアの場合、10年程経過してリプレースが何回か進む と、ケーブルによる地層が⽣まれる 【要求仕様】 １期棟はコンクリートスラブで 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 25.
- 26. 26 ５． 新しいサーバインフラを作ろう ＩＩＪ ＴｅｃｈｎｉｃａｌＤＡＹ 2019 | IIJのサーバインフラはここまでやっています 新データセンター 事業者最適 新サーバインフラ 1 2 3 3
- 27. 27 新しいサーバインフラを作ろう さかのぼること、1年前の2018年春頃 OCP準拠サーバを導⼊すると • 集中電源により電⼒効率20%程度改善 • ⼀般的な1Uサーバよりも価格が安い という話をご紹介を頂いた はっきり⾔って信じてなかったんですけどね・・・ •2017年までは調達価格が⾼すぎて割にあわなかった（2割ぐらい⾼い） • 今でも相当安く調達できているのに難しいのでは • でも、折からの円⾼や半導体業界のだぶつきを受けてDIMMやSSDの価格が下落傾 向、机上計算してみるとOCPサーバの⽅が若⼲安い試算が出た 試す価値ありかも 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 28. 28 Open Compute Project（OCP）とは ハードウエアのオープンソース化を推進している団体 OCP：https://opencompute.org/ OCPJ：http://opencomputejapan.org/ ハードウエアベンダー： IBM/ Intel / MiTAC / Wiwynn / Quanta ソフトウエアベンダー： Microsoft / VMware 利⽤者： Facebook / Rackspace / Microsoft 国内でも Yahoo! JAPAN / NTTコミュニケーションズ が採⽤ 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 29. 29 OCP準拠サーバとは 利点 • 本当に必要なパーツのみで構成することができる • 調達コストが下がる •電⼒コストが下がる • 中間マージンが抑えられ、調達コストが下がる • ⼤規模調達顧客向けパーツ価格の適⽤ • 利⽤者環境向けに特別に機能を実装してもらえる可能性がある • 交換可能なパーツの交換に⼯具が不要 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 30. 30 OCP準拠サーバとは ⽋点 • 為替の影響をもろに受ける • OCP専⽤のラックや集中電源が必要となる •BIOS/BMCのテストは利⽤者側が実施する必要がある • 枯れたバージョンのBIOS/BMCを探す旅・・・ • 保守はパーツ交換(⾃営保守)のみ • メーカーと英語でやり取りが必要 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 31. 31 OCPサーバを導⼊するまでの課題 -調達- 課題 対応策懸念事項 調達台数規模 既にまとまった台数で調達している ので問題なし 調達単価 ⼤量に調達する前提で複数社に対し て相⾒積もりを取得 ⼀般的なサーバより価格が⾼くな るようであれば撤退 納期が⻑い 計画的に設備展開を実施 輸送・通関⼿続 Solution Providerに依頼 納期遅延 スケジュールを密に確認しながら進 める 特に東アジアの政治動向は常に注 視しておく必要あり OCP専⽤ラック ⽇本製（⽇東⼯業製）のラック（耐 震基準適合済み）を導⼊ OCP集中電源 ⽇本製（村⽥製作所製）の集中電源 を導⼊ 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 32. 32 OCPサーバを導⼊するまでの課題 -仕様- 課題 対応策懸念事項 BIOS/BMCテスト 機能検証 ターゲットの設備と同じ環境（boot環 境など）を準備してテストを実施 導⼊検証 通常のサーバよりも体制を厚めに、期 間を⻑めにして検証作業を実施 OCPサーバ仕様 購⼊可能なものからIIJのインフラの仕 様に合ったものを選択 世代が変わるとIIJが求める仕様 が無くなる可能性があるので、 動向を注視しておく 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 33. 33 OCPサーバを導⼊するまでの課題 -技術サポート- 課題 対応策懸念事項 メーカーとのやり取りに 時間がかかる可能性があ る メーカーとSolution ProviderとIIJが 参加するチャットを準備して直接や りとりを実施 メーカーと英語（中国 語）でやりとりする必要 がある 英語ができるメンバーを参加させる 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 34. 34 OCPサーバを導⼊するまでの課題 -保守- 課題 対応策懸念事項 オンサイトサポートがな い 故障個所の切り分けおよびパーツ交 換については既に他のサーバで⾃営 保守を実施済 ハードウエアに強いエンジニ アがいる体制を維持する必要 がある 故障パーツの返送 Solution Providerがメーカー（台 湾）へパーツ返送を代⾏ 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 35.
- 36. 36 （参考）OCPサーバの調達例 • 利⽤者は⾃由にパーツ(メーカー/仕様)を組 み合わせて使うことができる • 利⽤者がODMメーカーに直接やりとりを ⾏ってもよいが、SolutionProviderをメー カーと利⽤者の間に⼊ってもらい、⾜りな い輸送・通関業務・サポート代⾏などを補 う 利⽤者 キッティング システム組込 Solution Provider 輸送・通関業務 ODMメーカー 仕様に基づいて部品調達・製造 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 37.
- 38. 38 OCPサーバの導⼊成果 実際にOCPサーバを導⼊した結果、調達費⽤は最⼤ｰ35％、 電⼒消費量は最⼤ｰ30％の削減効果※全て当社⽐ ⇒特に調達費⽤は当初⾒込みの10％減を⼤幅に下回る結果に 新データセンター 事業者最適 新サーバインフラ 1 2 3 ⼀般サーバ OCPサーバ 調達費⽤⽐較 約35%減 Idle時 ⼀般的なWorkload最⼤負荷時 消費電⼒⽐較 ⼀般サーバ OCPサーバ 約30%減 約20%減 約17%減
- 39. 39 （参考）運⽤Tipsのご紹介 ＩＩＪ Ｔｅｃｈｎｉｃａｌ ＤＡＹ2019 | ＩＩＪのサーバインフラはここまでやっています 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 40. 40 （参考）運⽤Tipsのご紹介 OPEX低減の観点から、現地オペレーションミスを なくすための⼯夫の⼀部をご紹介 • 特に過去の苦い経験から、ケーブリングにこだわりを持っています • ケーブリングのやり⽅によっては、メンテナンス性とサービス品質に影響 ケーブリング作業： 部材：eco-patch6ケーブル 住友電⼯製 Direct Attach Cable ZERO unitケーブルマネジメントトレイ 視認性のよいケーブルの⾊分け 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 41. 41 現地オペレーションミスをなくすための⼯夫（1） ケーブリング作業： • IIJグループ会社（ネットチャート株式会社）へ⼯事を依頼 ノウハウが蓄積されている 芸術的なケーブリング • かつては社員が直接実施 • 時間がかかるし、出来上がりも悪い • 意外と⼒仕事 新データセンター 事業者最適 新サーバインフラ 1 2 3 ※写真は7本のメタルケーブルを配線したもの
- 42. 42 現地オペレーションミスをなくすための⼯夫（2） 部材：eco-patch6 ケーブル（10GBASE-T） • ⼀般的なケーブルと⽐較して断⾯積は6割減、重量は6割減 •ラック内エアフローを確保 ⇒エアフロー改善することで電⼒消費量を削減 • Cat.6 対応 計測の結果ラック内配線であれば エイリアンクロストークの影響はほとんどない 新データセンター 事業者最適 新サーバインフラ 1 2 3 本日、ネットチャート株式会社からサンプルとしてご提供いただきましたので、 是非とも展示コーナーにお立ち寄りください。 eco-patch6 ケーブル Cat.6 ケーブル お知らせ
- 43. 43 現地オペレーションミスをなくすための⼯夫（3） 部材：ケーブル⾊を使い分けることでミスを防ぐ • 主系：群⻘ • 副系：ピンク •マネージメント系：若草 新データセンター 事業者最適 新サーバインフラ 1 2 3
- 44. 44 現地オペレーションミスをなくすための⼯夫（4） 部材：住友電⼯製 Direct AttachCable（Twinax） • 極細同軸電線を使⽤ • ⼀般的な Twinax ケーブルよりも柔らかく扱い易い • 最⼩曲げ半径はケーブル外径とほぼ同じ • SFP+ と QSFP の2タイプがある • 細径のケーブルでラック内エアフローを確保 ⇒エアフロー改善することで電⼒消費量を削減 新データセンター 事業者最適 新サーバインフラ 1 2 3 住友電⼯製 DAC C社製 DAC
- 45.
- 46. 46 ６．本⽇のまとめ ＩＩＪ Ｔｅｃｈｎｉｃａｌ ＤＡＹ2019 | ＩＩＪのサーバインフラはここまでやっています
- 47. 47 本⽇のまとめ • 我々にとって既存のデータセンターには課題があったため、 設計段階からデータセンター開発部⾨と協⼒し、新しいデータ センター（⽩井DCC）を作った ⇒松江DCPに次ぐ、2つ⽬の⾃社データセンター • 設備投資コストと運⽤コストにこだわった、新しいデータセン ターを活⽤する新しいサーバインフラを作った ⇒OCPサーバを採⽤することで、サーバインフラコストを30％減 •運⽤し易さやメンテナンス性を追求することで、サービス品質を ⾼める⼯夫をしている ⇒運⽤ミスを低減するためのケーブリングや部材の選定を実施
- 48.
- 49.