Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

2014 1019 Public OpenStack Swift service by ConoHa IaaS

2,503 views

Published on

ConoHa is the IaaS service provied by using OpenStack Grizzly.
OpenStack Havana Swift by (ver 1.12), Since we began offering the Object Storage service, and presentation to the description, such as the use cases and the system configuration.

Published in: Engineering
  • Be the first to comment

2014 1019 Public OpenStack Swift service by ConoHa IaaS

  1. 1. ConoHa、OpenStack SwiftでObject Storage始めました。 ~ ConoHaのOpenStack Swift環境について~ GMOインターネット株式会社 システム本部 郷古直仁 OSC Tokyo 2014/Fall 2014-10-19 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  2. 2. 自己紹介 •郷古直仁(@naoto_gohko) •所属:GMOインターネット システム本部 第二サービス開発部 オープンコンピューティングチーム •ConoHaサービスの開発運用、GMOアプリクラウドの サービスの開発運用、お名前.com VPS KVMの運用な どクラウド系サービスのお仕事、OpenStack関係 • Ingressは… 緑だけど… Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  3. 3. 自己紹介 •美雲このは(@MikumoConoHa) •クラウドのようなVPS「ConoHa」の応援団長 •データセンターの座敷童子 •年齢: 13歳くらい? •身長: 150cm+α •https://www.conoha.jp/blog/conoha Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  4. 4. ConoHa webのリニューアル https://www.conoha.jp/ •上記URLにアクセスすると、会社で開いても落ち着いて見 られるデザインに(このはのダークスーツ姿ではなかったw) Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  5. 5. ConoHa webのこのは仕様 https://www.conoha.jp/conoha •上記URLにアクセスすると、新しいConoHaデザイン Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. デザイン設定 切り替え
  6. 6. ConoHa webのリニューアル https://www.conoha.jp/ •リニューアルとともに、OpenStack Swiftを使った Object Storageのサービスが追加されました Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  7. 7. オブジェクトストレージ 始めました(2014/09~) •OpenStack Swiftを使った Object Storage •RESTful httpsアクセス可能な分 散ストレージシステム •450円/100GB単位から 転送量無制限、容量上限なし Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  8. 8. OSC Tokyo 2014/Fall •OpenStack関係のセミナー多し!!
  9. 9. オブジェクトストレージとは? •ファイルオブジェクトの格納場所はコンテ ナ(バケット)などの格納領域の中にフラッ トに配置される •ファイルシステムなどに見られるディレ クトリ構造とは対照的 •オブジェクトの格納されるストレージ領域 は冗長性と分散性を持つ •レプリカの数やキャッシュの工夫により webの配信エンジンとしての利用も •アクセスにはRESTfulなwebの仕組みを 利用する場合がほとんど •メタデータのアクセスにhttpを利用 file filestack file filestack
  10. 10. OpenStack Swiftとは? •オブジェクトの格納領域はAccount, Container, Objectの3サービスにより管理 される •Swift Proxyサービスがオブジェクトの保存 情報をAccount, Containerに保存、実オ ブジェクトはObjectサービスに保存 •認証サービスには主にKeystoneを利用する •メタデータなどの機能pluginはSwift Proxy に入れることで、機能が拡張できる •システムの独立性が高いので、メジャーバージョ ンアップしやすい •SoftLayer, HPCloud, CloudVPS rackspace cloudfiles などと共通 swift container swift account swswiftif to bojbejcetcsts swift proxy keystone plugin ratelimit plugin s3swift plugin static web plugin … … swift proxy keystone swift container swift account swswiftif to bojbejcetcsts
  11. 11. OpenStack Swift: ConoHa •OpenStack Havana Swift 1.12 •5 zones •3 copy objects •keystone auth ConoHa (Grizzly) GMO Apps Cloud (Havana) =>> Swiftと認証系のOpenStack が違います
  12. 12. ConoHaのObject Storageの構成の秘密: 1 •実は、OpenStack Swift上、データ領域はGMOアプリ クラウド(OpenStack Havana)と同居している =>> tenant_id(user)がそれぞれのkeystoneで重複し ないことが条件 swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  13. 13. ConoHaのObject Storageの構成の秘密: 1 •Storage Clusterを共有するメリット =>> OpenStack SwiftはScale outさせるほうがメリッ トが高い =>> 共通化することで、コストメリットも swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  14. 14. ConoHaのObject Storageの構成の秘密: 1 •Storage Clusterを共有するメリット おなじOpenStack Swiftを使う =>> 利用方法など、ノウハウがたまり、提案しやすくなる Havana Grizzly swift proxy keystone swift proxy keystone Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  15. 15. ConoHaのObject Storageの構成の秘密:2 •構成のチューニングとしては、Account, Containerの 両方のサービスは分散メタデータ型データベースとして動 作するので、CPU、Disk IOに注意する(SSD以上の高速 ストレージ、CPUのObjectサービスとの分離) swift proxy keystone swift proxy keystone swift container swift account swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana Grizzly Havana
  16. 16. ConoHaのObject Storageの構成の秘密: 3 •Network構成はFull 10Gbps Network Universal service for ConoHa and GMO Apps cloud Unit8 (Physical Layer) reverse-proxy01 reverse-proxy02 MicroNode x2 swift-proxy02 IBM Xeon E5 CPU 2 socket GMO Apps cloud Unit8 (Physical Layer) the Internet Reverse proxy nginx vm instances proxy node network account03 account04 account05 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. Object storage/glance global network LVS DSR (act-stdby) elvs01 elvs02 Storage node network proxy node network account01 Replication network swift-proxy01 account02 Manage/IPMI network (Object Storage only) the Cloud (Internet) Reverse proxy HAProxy Reverse proxy HAProxy swift-proxy swift-proxy LVS pacemaker LVS pacemaker zone 01 zone 02 zone 03 zone 04 zone 05 MicroNode x2 sdata01 sdata02 sdata03 sdata04 sdata05 sdata06 sdata07 sdata08 sdata09 sdata10 LVS pacemaker nfv-lvs01 LVS pacemaker nfv-lvs02 LVS DSR (act-act) vm instances x2 keystone API keystone DB MySQL keystone token kvs (mysql memcache IF) MariaDB Galera cluster Manage network (Unit8 Compute) Reverse proxy nginx x2 keystone01 keystone02 api-app01 api-app02 nova API cinder API ceilometer API vm instances x2 vm instances x2 keystone-db01 keystone-db02 MySQL DB api-reverse-proxy01 api-reverse-proxy02 container account container account container account container account container account
  17. 17. ConoHaのObject Storageの構成の秘密: 4 •提供URL EndpointはHTTPS SSL TerminationにはHAProxyを利用 (HAProxy 1.5からHTTPS利用可能です) swift proxy keystone swift proxy keystone swift container swift account Havana Grizzly swift container swift account swift container swift account swift container swift account swift container swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts swswiftif to bojbejcetcsts Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved. swift account Havana revers proxy revers proxy
  18. 18. HAProxy 1.5 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  19. 19. nginx (keystone API;reverse proxy) Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  20. 20. どうやって使うの>< Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  21. 21. 利用例 01: WordPress pluginからのFull backup; UpdraftPlus •WordPressのpluginでweb, DBのfull backupが Object Storageに取得できるplug in http://updraftplus.com •plug inを入れて設定のみ Full backupなので、 siteの複製にも使えます •URLが変わる場合には WordPressではfull pathで記載されるので 注意が必要 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  22. 22. 利用例 02: ownCloud •Dropboxのように使えるownCloud serverには、 OpenStack Swiftをバックエンドストレージとしてセッ トアップすることで、ownCloud自体の冗長性を拡張でき ます http://owncloud.org •ownCloudさんがセミナー、ブース出展していますので、 そちらも見て下さい Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  23. 23. 利用例 03: StackSync •ownCloudと同様にDropbox的なインターフェースを提 供するストレージサーバインターフェース http://stacksync.org •Atlanta 2014 サミットで発表が あったOSS Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  24. 24. 今後のOpenStack Swift対応予定 •OpenStack Swiftの継続的update (予定) Swift 1.12 =>> Swift 2.1 •Swift pluginの追加機能 (予定) SwiftSync: swift to swiftのコンテナ同士の同期処理 etc. •そして、さらなる使い方の共有 このべん、勉強会、技術ブログに継続的に共有します Private CloudでSwiftを使う場合の参考にもどうぞ Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  25. 25. オブジェクトストレージ、もう一度おさらい • 450円/100GB~ • 容量無制限、転送量課金なし • 使ってもらうほどスケールメリット 効果が出るサービスです Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.
  26. 26. では、つづいて、ひろのぶさんの OpenStack Swift使い方講座になります。 Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.

×