Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月

9,634 views

Published on

サイバーエージェント様 発表「AmebaのOpenStack」

澤田石 朋彦 (株式会社サイバーエージェント)

アジェンダ:
- 背景
- アーキテクチャ
- 運用はじめました
- 今後のチャレンジ

Published in: Technology
  • Be the first to comment

AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月

  1. 1. AmebaのOpenStack 株式会社サイバーエージェント 澤田石 朋彦
  2. 2. 自己紹介 • 澤田石 朋彦(さわだいし ともひこ) • ネットワークエンジニア(L2~L7) • ルータ、スイッチ、Load Balancer • オプスタ歴:9ヶ月
  3. 3. 会社紹介
  4. 4. 会社紹介
  5. 5. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
  6. 6. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
  7. 7. そもそもOpenStackって?
  8. 8. OpenStackとは • Cloud OS(IaaS基盤)のひとつ • CloudStack • Eucariptus • LinuxのようにDistributionが存在 • RDO(RedHat) • Mirantis OpenStack(Mirantis) • FusionSphere(HUAWEI)
  9. 9. IaaSとは • DCにあるCompute、Storage、Networkなどのリソー スを抽象化しサービスとして提供 http://www.openstack.org/software/
  10. 10. Server nova Router/SW neutron storage swiftモジュール ハードウェア
  11. 11. 主要コンポーネント
  12. 12. オプションコンポーネント まだまだあります!!
  13. 13. Amebaで採用したコンポーネント
  14. 14. OpenStack導入までの流れ 2015年3月 • OpenStackで行くぞ!(この時まだ未検証) • OpenStack経験者1人 2015年4月 • サーバ3台で検証開始 • トライ&エラーで仕様決め 2015年10月 • OpenStack Kilo オープン!! • 今ココ
  15. 15. 新DCの要件 • 既存DCを集約 • サービス毎のテナント • 自社サービス用のインフラ • 150Rack規模、数万コア規模
  16. 16. OpenStack導入より前 • コントローラーを自社開発 • Clover(200Rack、2万MAC程度) 課題 • 運用者=開発者 • 規模拡大や仕様変更に追いつけない • 独自API(学習コスト大)
  17. 17. OpenStack採用理由 • 小規模なOpenStackは運用していた • OpenStackコミュニティが活発 • 標準的なAPI(AWS互換) • ユーザ完結によるスピードUP
  18. 18. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
  19. 19. http://docs.openstack.org/openstack-ops/content/figures/2/figures/osog_0001.png
  20. 20. 全体構成 Horizon AMQP DB Designate Keystone各種API リソース 管理系
  21. 21. 管理系 名称 仮想 or 物理 台数 冗長 Controller 仮想 3 H/WLBのVIP AMQP(RabbitMQ) 仮想 3 RabbitMQ Cluster Neutron-dhcp- agent(dnsmasq) 物理 2 Active-Active DB(MySQL) 物理 2 MHA+Backup • OpenStackそのものを管理(別NWに設置) • “仮想”はKVMのゲスト
  22. 22. Compute Node 名称 スペック OS CentOS7(Kernel3.10) CPU 40Core Memory 256GB Disk 2TB (RAID10) NET 10GBase-T * 2(LACP, mode=4) VMM KVM Overcommit 200% • 高密度化(Rack 46U) • 2U4Node • 12 chassis/rack 約3000 core/rack • 定格15K VA
  23. 23. Network “ To improve performance and reliability, provider networks move layer-3 operations to the physical network infrastructure.”(Networking manual) L3はNeutronに頼らない事を決意
  24. 24. Network http://docs.openstack.org/networking-guide/scenario_l3ha_lb.html Compute Node Network Node 懸念点 • 拡張性 • 冗長性 • パフォーマンス
  25. 25. Network http://docs.openstack.org/networking-guide/scenario_l3ha_lb.html Compute Node H/W Router H/W LB
  26. 26. Network http://docs.openstack.org/networking-guide/scenario_provider_lb.html
  27. 27. Network • 全ラックスイッチに必要VLANを設定 • trunk Port、約1200 VLANを全ポートに設定 • Neutronの外側で実施 • NAT • FW(Globalからのトラフィック) • Load Balancer • NW自体はシンプル
  28. 28. Load Balancer • ハードウェアLBを採用 • OpenStack連携なし • LBの機能 • SSL終端 • プール毎の細かなパラメータ • L3DSR(VM-VS間でGRE) • VIPを動的に広報(InternalにBGP)
  29. 29. Storage • Block Storage • HA LVM(360TB Mirroring) • Object Storage • swift(400~600TB、3Replica) • Image Backend • Ceph(3 Server * 12Disk * 3TB / 3Replica)
  30. 30. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
  31. 31. 連携必須 OpenStack Server エンジニア Network エンジニア Storage エンジニア 各自の守備範囲は広い
  32. 32. Neutron-dhcp-agentの例 UDP:67でListenしてるはず!! Listenしてない?
  33. 33. Neutron-dhcp-agentの例 Y.Y.Y.Y:67 Z.Z.Z.Z:67 X.X.X.X:67 bond0.YY tap YY ns-YY brq YY bond0.ZZ tap ZZ ns-ZZ brq ZZ bond0.XX tap XX ns-XX brq XX veth veth NameSpace内 VM VLAN XX VM VLAN XY dhcp-discovery サーバ内 dhcp-discovery
  34. 34. Neutron-dhcp-agentの例 Namespace を指定すると表示される
  35. 35. 運用体制 • OpenStack専任2人 • NW(兼任):4人(< DC数) • Storage(兼任):2人 • NOC(兼任):2人+α
  36. 36. 監視 • Zabbix+各サーバにエージェント • IPとPortは全コンポーネント監視 • 各コンポーネントごとに工夫 • Namespace数とbridge数の比較(dnsmasq) • curlで200チェック(metadata-proxy) • インスタンスが作成できるか(nova&Ironic)
  37. 37. 今の課題 • 正常時のフローの把握 • ログ管理&活用 • 監視
  38. 38. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
  39. 39. 次のチャレンジ • コンテナ • SR-IOV+DPDK • VxLAN • 複数OpenStackの連携
  40. 40. これからOpenStackを始める方へ • コード読める人必要 • その製品、本当にOpenStack対応ですか? • 挙動が怪しい場合プロセス再起動が有効!! • マニュアルが正しいとは限らない
  41. 41. 資格が誕生 https://opcel.org/
  42. 42. 仲間募集中!!

×