NTT Software Innovation Center Kota Tsuyuzaki

1. Copyright©2019 NTT Corp. All Rights Reserved.
OpenStack Swiftと
そのエコシステムの最新動向
(2019/01/18)
Kota Tsuyuzaki [IRC: kota_]
kota.tsuyuzaki.pc@hco.ntt.co.jp
NTT Software Innovation Center
Copyright(c)2009-2019 NTT CORPORATION. All Rights Reserved.

2. 2Copyright©2019 NTT Corp. All Rights Reserved.
[プロフィール]
氏名：露﨑 浩太
Launchpad: tsuyuzaki-kota
IRC: kota_
所属：日本電信電話株式会社 (NTT)
ソフトウェアイノベーションセンタ (R&D部門）
[OpenStack Swiftとの関わり]
2012～: 社内のSwift関連のお仕事を開始
2015~： Swiftのコアチームで活動開始
開発機能：
Erasure Coding, S3API, Global Clusterなど
自己紹介

3. 3Copyright©2019 NTT Corp. All Rights Reserved.
1. What’s Swift?
2. 最近の機能
3. エコシステム
4. 今後の方向性
5. まとめ
アジェンダ

4. 4Copyright©2019 NTT Corp. All Rights Reserved.
1. What’s Swift

5. 5Copyright©2019 NTT Corp. All Rights Reserved.
What’s Swift?
Object Storage System

6. 6Copyright©2019 NTT Corp. All Rights Reserved.
Swift API
https://swift.example.com/v1/AUTH_account/container/object
HTTP based Rest API:
Host名 API Version
アカウント コンテナ オブジェクト

7. 7Copyright©2019 NTT Corp. All Rights Reserved.
OpenStack Swift
 IaaS基盤であるOpenStackで開発されているオブジェクトストレージのPython実装
 元々Rackspaceが自社サービス（CloudFiles）向けに開発されたOSSであり、
OpenStackができた当初(2010年)からあるソフトウェア
 海外はもちろん、国内でも商用実績あり

8. 8Copyright©2019 NTT Corp. All Rights Reserved.
オブジェクトストレージの主な用途
様々な種類のサイズの大きなファイルを、大量に、長期間保存することが得意
バックアップ 画像・映像のアーカイブ Cloud Native Application
バックアップサーバ サービス提供システム
オブジェクト
ストレージ オブジェクト
ストレージ
オブジェクト
ストレージ
100T 100T
100T
100T
100T
100T
…
Data
Data
Data
Data
Data
Data
…

9. 9Copyright©2019 NTT Corp. All Rights Reserved.
Swiftのアーキテクチャ
Load Balancer:
Proxy Tier:
Storage Tier:
zone1 zone2 zone3 zone4
Scale Out

10. 10Copyright©2019 NTT Corp. All Rights Reserved.
Swiftのアーキテクチャ
Load Balancer:
Proxy Tier:
Storage Tier:
zone1 zone2 zone3 zone4
Easy Maintenance

11. 11Copyright©2019 NTT Corp. All Rights Reserved.
2. 最近の機能

12. 12Copyright©2019 NTT Corp. All Rights Reserved.
S3 API
S3API Maintained at Swift upstream repository

13. 13Copyright©2019 NTT Corp. All Rights Reserved.
S3 API – CI Gate

14. 14Copyright©2019 NTT Corp. All Rights Reserved.
S3 API - Compatibility
output/ceph-s3-summary.log

15. 15Copyright©2019 NTT Corp. All Rights Reserved.
S3 API – Known Failures

16. 16Copyright©2019 NTT Corp. All Rights Reserved.
• Swiftのコンテナ
≠ Docker Container
≒ S3 Bucket
• Container/Objectのリストを高速に取得するための
仕組み
Container Sharding

17. 17Copyright©2019 NTT Corp. All Rights Reserved.
Container Sharding - Architecture
https://docs.openstack.org/swift/latest/overview_container_sharding.html

18. 18Copyright©2019 NTT Corp. All Rights Reserved.
3. エコシステム

19. 19Copyright©2019 NTT Corp. All Rights Reserved.
• OSS Filesystem on top of Swift
• Apache 2.0
• SwiftStack distributed
• ファイルシステムとオブジェクト
ストレージで空間の共有が可能
ProxyFS
https://proxyfs.org/index.html
Github: https://github.com/swiftstack/ProxyFS
Slack: https://proxyfs.slack.com/

20. 20Copyright©2019 NTT Corp. All Rights Reserved.
DEMO
(百聞は一見に如かず）

21. 21Copyright©2019 NTT Corp. All Rights Reserved.
Architecture
https://proxyfs.org/architecture/access.html
Linux OS
Demoの範囲

22. 22Copyright©2019 NTT Corp. All Rights Reserved.
• Log Structured File System
• Not A Gateway, Everything is in Swift
ProxyFSの仕組み
https://proxyfs.org/architecture/log-structured-intro.html

23. 23Copyright©2019 NTT Corp. All Rights Reserved.
４. 今後の方向性

24. 24Copyright©2019 NTT Corp. All Rights Reserved.
• Swift Upstream
• Small File Optimization
• 本日NTTテクノクロス須田さんの発表
• Python 3 Support
• S3 API compatibilities
• Object Versioning等
• Auto Container Sharding
• Swiftエコシステム
• S3 Sync (1space）の強化
• OpenStack Storlets (Swift上のFaaS)の拡充
開発予定の機能

25. 25Copyright©2019 NTT Corp. All Rights Reserved.
• Swiftの概要紹介
• Swiftの最新動向
• より使いやすく、よりスケーラブルに
• エコシステムなどの拡充を強化
• ProxyFSを中心にレガシーなアプリケーションへの対応
• 本日の発表内容やProxyFSの動かし方などはNTTソフ
トウェアイノベーションセンタ エンジニアブログ
（https://medium.com/nttlabs）に掲載予定
まとめ

26. 26Copyright©2019 NTT Corp. All Rights Reserved.
ご清聴ありがとうございました
kota.tsuyuzaki.pc@hco.ntt.co.jp
IRC: kota_