Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

日本OpenStackユーザ会 Atlantaサミット報告会 Swift関連報告

2,040 views

Published on

日本OpenStackユーザ会 第18回勉強会 アトランタサミット報告会のSwift Design Summit セッション報告で使用した資料です。

Published in: Technology

日本OpenStackユーザ会 Atlantaサミット報告会 Swift関連報告

  1. 1. Copyright©2014 NTT corp. All Rights Reserved. 日本OpenStackユーザ会 アトランタサミット報告会 (第18回勉強会) Swift関連報告(2014/6/19) 日本電信電話株式会社 ソフトウェアイノベーションセンタ 露崎 浩太 Copyright(c)2009-2014 NTT CORPORATION. All Rights Reserved.
  2. 2. 2Copyright©2014 NTT corp. All Rights Reserved. 会議名: • OpenStack Summit 会場・期間: • Georgia World Congress Center, Atlanta, GA, United States • 5/12~5/16 内容: • 企業展示 (OpenStack Marketplace)、Keynote • 一般向けの事例紹介などのGeneral Session (Mon~Thu) • Juno向けのDesign Summit (Tue~Fri) OpenStack Summit 概要
  3. 3. 3Copyright©2014 NTT corp. All Rights Reserved. [プロフィール] 氏名:露﨑 浩太 (28) Launchpad: tsuyuzaki-kota IRC: kota_ 所属:日本電信電話株式会社 (NTT) ソフトウェアイノベーションセンタ (R&D部門) [OpenStackとの関わり] 2012年(Folsom) : Swift 2013年(Grizzly, Havana): Swift 2014年(Icehouse, Juno): Swift 自己紹介
  4. 4. 4Copyright©2014 NTT corp. All Rights Reserved. 今回の報告 General Session (use case) Design Summit Session (Juno Design)
  5. 5. 5Copyright©2014 NTT corp. All Rights Reserved. • 注目度 • 19セッションと発表数が多く、聴講者も多かったことから注目度は高い • 特にSwiftStackのCase Study*ではLicense Fee, DC費を含めても $0.013/GB/monthとAWSよりコストが安いとのことで、聴講者が多かった • ユースケース • Scalabilityの必要なPrivateクラウド向けのデータ置場が中心 • 小中規模向けのAll-in-one OpenStackではCephが主流になりつつある( Canonical, RedHatがサポート)が、とにかくデータ量が多い、速度が必要 といったケースに対してSwiftが強いというのを主張 • Ceph, Swift双方で競合というより補完関係のような構図、主張となっていた • 最近の動向・方向性 • NFS Gateway, dropbox like usecaseなど既存のシステム、サービスとの結 合、及び、Kinetic drive等の新アーキテクチャへのシームレスな以降の2つ が主軸。Swift自体の新機能というより、既存システムのコスト削減、容量対 応を目的としたソリューションの色が強く、特にSwiftStackはSwiftの第一人 者としての影響力を持っている** Swift General Session(事例・動向) *http://www.slideshare.net/dirkpetersen/bio-it-fhcrceconomyfileproject0430 **https://swiftstack.com/blog/2014/05/22/openstack-summit-atlanta-we-are-in-the-majors-now/
  6. 6. 6Copyright©2014 NTT corp. All Rights Reserved. Big Pictures: • Storage Policies • Erasure Coding • Pluggable Backend Operation/Efficiency: • Dev/Ops session • More Efficient Replication • Swift Distributed Tracing Methods and Tools Swift Design Summit
  7. 7. 7Copyright©2014 NTT corp. All Rights Reserved. What is Storage Policies: - 冗長度、ディスク構成等の異なるSwiftを1クラスタで提供する機能 Why Storage Policies: - 既存のSwiftに新しい構成をシームレスに追加できる - 複数のポリシーを1クラスタ内に持てるので資源の効率化ができる How it works: - Swift内部ではポリシー毎に異なるobject ringを持つ - 運用者がポリシーをデプロイしユーザにポリシー名を公開する - 利用者はコンテナ作成時に公開されているポリシーを設定する 7月上旬頃 Release予定 Storage Policies SSD HDD SSD Policy Container HDD Policy Container
  8. 8. 8Copyright©2014 NTT corp. All Rights Reserved. What is Erasure Coding: - データを分割、符号化して保存するストレージ方式 Why Erasure Coding: - 分割したデータを保存するためReplica方式より容量削減できる - 符号化を用いることにより、ディスク故障時にも復旧できる How it works: - Storage Policyの1種として組み込み - PyECLib* を用いてProxyが符号化、複合を行う - EC用のバックグランドプロセスも作成予定 Junoサイクル中に Release予定 Erasure Coding (EC) * https://pypi.python.org/pypi/PyECLib EC fragments Erasure Coding Policy Container
  9. 9. 9Copyright©2014 NTT corp. All Rights Reserved. What is Pluggable Backend: - ディスクへの読み書き部分を抽象化し、プラガブルにする方式 Why Pluggable Backend: - ユースケースに応じた柔軟なバックエンドの選択 - Swiftの汎用ルーチンとバックエンド依存部分の切り離し How it works: - 抽象化されたファイルとしてdiskfileクラスをSwift内で定義し、 read/writeに相当する操作をdiskfile内で実施する 既存実装のdiskfile抽象化は実装済 Seagate Kineticドライブ、GlusterFS等、 バックエンド別には、各ベンダが対応予定 Pluggable Backend Object-Server Kinetic Drive GlusterFS diskfile abstraction layer
  10. 10. 10Copyright©2014 NTT corp. All Rights Reserved. • Dev/Ops Session • ログの監視、ディスク交換頻度、Regionの活用方法などの話題 • Pain Points as an Operator • 監視がstatsdなので、real-time(not persistent) pluggableなものが欲しい • Failure Driveのチェックが大変(一括管理や定期チェックなど) • RingのDeployが大変(ring-masterをcoreかecosystemで作れないか) • SLA監視にinformant-middlewareを使う等 • Authのintegrationなど新規ユーザがDeployで問題になる部分に関してはコ ミュニティも課題意識を持ち始めている • More Efficient Replication • 広域分散時のReplicationの効率化 • 従来のReplicaを全部のPrimaryにpushする方式にAffinityの概念を追加 • マージに向けて改良案を実装中 • Swift Distributed Tracing Methods and Tools • リクエストの開始からデータ読み書き完了までの実行パスをTraceするツール • 従来のTransaction IDを置き換えてまで導入する意義があるかで議論中 Operation/Efficiency 提案
  11. 11. 11Copyright©2014 NTT corp. All Rights Reserved. • 性能、容量、コストが両立できるオブジェクトストレー ジとしてSwiftの導入、成功事例が増えてきた • 2014秋のJuno版ではStorage Policies、Erasure Codeと新機能が多数導入され、より幅広いユースケー スに対応できるようになる見込み • Ops対応についてもコミュニティは意識している Presenter Info: Kota Tsuyuzaki tsuyuzaki.kota@lab.ntt.co.jp まとめ

×