Downloaded 112 times
Uploaded byVirtualTech Japan Inc.
AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月
サイバーエージェント様 発表「AmebaのOpenStack」 澤田石 朋彦 (株式会社サイバーエージェント) アジェンダ： - 背景 - アーキテクチャ - 運用はじめました - 今後のチャレンジ
More Related Content
Similar to AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月
AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月
- 1.
- 2. 自己紹介 • 澤田石 朋彦（さわだいしともひこ） • ネットワークエンジニア（L2～L7） • ルータ、スイッチ、Load Balancer • オプスタ歴：９ヶ月
- 3.
- 4.
- 5. アジェンダ • 背景 • アーキテクチャ •運用はじめました • 今後のチャレンジ
- 6. アジェンダ • 背景 • アーキテクチャ •運用はじめました • 今後のチャレンジ
- 7.
- 8. OpenStackとは • Cloud OS(IaaS基盤)のひとつ •CloudStack • Eucariptus • LinuxのようにDistributionが存在 • RDO(RedHat) • Mirantis OpenStack(Mirantis) • FusionSphere(HUAWEI)
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. OpenStack導入までの流れ 2015年3月 • OpenStackで行くぞ！（この時まだ未検証） • OpenStack経験者1人 2015年4月 •サーバ３台で検証開始 • トライ＆エラーで仕様決め 2015年10月 • OpenStack Kilo オープン！！ • 今ココ
- 15. 新DCの要件 • 既存DCを集約 • サービス毎のテナント •自社サービス用のインフラ • 150Rack規模、数万コア規模
- 16. OpenStack導入より前 • コントローラーを自社開発 • Clover(200Rack、2万MAC程度) 課題 •運用者＝開発者 • 規模拡大や仕様変更に追いつけない • 独自API（学習コスト大）
- 17. OpenStack採用理由 • 小規模なOpenStackは運用していた • OpenStackコミュニティが活発 •標準的なAPI(AWS互換) • ユーザ完結によるスピードUP
- 18. アジェンダ • 背景 • アーキテクチャ •運用はじめました • 今後のチャレンジ
- 19.
- 20.
- 21. 管理系 名称 仮想 or物理 台数 冗長 Controller 仮想 3 H/WLBのVIP AMQP(RabbitMQ) 仮想 3 RabbitMQ Cluster Neutron-dhcp- agent(dnsmasq) 物理 2 Active-Active DB(MySQL) 物理 2 MHA+Backup • OpenStackそのものを管理（別NWに設置） • “仮想”はKVMのゲスト
- 22. Compute Node 名称 スペック OSCentOS7(Kernel3.10) CPU 40Core Memory 256GB Disk 2TB (RAID10) NET 10GBase-T * 2（LACP, mode=4) VMM KVM Overcommit 200% • 高密度化(Rack 46U） • 2U4Node • 12 chassis/rack 約3000 core/rack • 定格15K VA
- 23. Network “ To improveperformance and reliability, provider networks move layer-3 operations to the physical network infrastructure.”(Networking manual) L3はNeutronに頼らない事を決意
- 24.
- 25.
- 26.
- 27. Network • 全ラックスイッチに必要VLANを設定 • trunkPort、約1200 VLANを全ポートに設定 • Neutronの外側で実施 • NAT • FW（Globalからのトラフィック） • Load Balancer • NW自体はシンプル
- 28. Load Balancer • ハードウェアLBを採用 •OpenStack連携なし • LBの機能 • SSL終端 • プール毎の細かなパラメータ • L3DSR（VM-VS間でGRE) • VIPを動的に広報（InternalにBGP）
- 29. Storage • Block Storage •HA LVM（360TB Mirroring) • Object Storage • swift(400~600TB、3Replica) • Image Backend • Ceph(3 Server * 12Disk * 3TB / 3Replica)
- 30. アジェンダ • 背景 • アーキテクチャ •運用はじめました • 今後のチャレンジ
- 31.
- 32.
- 33.
- 34.
- 35. 運用体制 • OpenStack専任２人 • NW（兼任）：4人(<DC数) • Storage（兼任）：2人 • NOC（兼任）：2人＋α
- 36. 監視 • Zabbix＋各サーバにエージェント • IPとPortは全コンポーネント監視 •各コンポーネントごとに工夫 • Namespace数とbridge数の比較（dnsmasq） • curlで200チェック(metadata-proxy) • インスタンスが作成できるか（nova&Ironic)
- 37.
- 38. アジェンダ • 背景 • アーキテクチャ •運用はじめました • 今後のチャレンジ
- 39. 次のチャレンジ • コンテナ • SR-IOV＋DPDK •VxLAN • 複数OpenStackの連携
- 40. これからOpenStackを始める方へ • コード読める人必要 • その製品、本当にOpenStack対応ですか？ •挙動が怪しい場合プロセス再起動が有効！！ • マニュアルが正しいとは限らない
- 41.
- 42.
Editor's Notes
- #9 http://blogs.itmedia.co.jp/narisako/2015/02/_openstack.html