Recommended
Recommended
More Related Content
Similar to PCCC23：Pacific Teck Japan テーマ１「データがデータを生む時代に即したストレージソリューション」
Similar to PCCC23：Pacific Teck Japan テーマ１「データがデータを生む時代に即したストレージソリューション」 (20)
More from PC Cluster Consortium
More from PC Cluster Consortium (20)
Recently uploaded
Recently uploaded (9)
PCCC23：Pacific Teck Japan テーマ１「データがデータを生む時代に即したストレージソリューション」
- 1. ©2023 - Pacific Teck Japan G.K. データがデータを生む時代に即した ストレージソリューション 第23回PCクラスタシンポジウム「HPC基盤技術と生成AI」 2023年12月7-8日 於：富士ソフト アキバプラザ Pacific Teck Japan 合同会社 Senior Engineer 森本 賢治
- 2. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample はじめに 性能要求は、Bandwidth至上主義から、IOPSとの両立が求められる。 容量は、TeraByteからPetaByteが主流になり、ExaByteが見えて来た。 利用性では、HPC、スパコンに閉じるのではなく、開かれたストレージ。 運用では、データのライフサイクル設計が必要になってくる。 AI on HPCがもたらしたストレージへの要求の変化。 GPUの進化やIoTエッジデバイスの普及、計測器や実験器具の高度化 により、データの数、サイズは常に増大傾向。 データがデータを生み、複雑な構造が作られる状況に拍車がかかっている。
- 3. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 0m 10m 100m 100km Throughput Capacity 多彩なストレージポートフォリオ EB PB TB MB/s GB/s TB/s Local Scratch Shared FileSystem OnPremise HotArchive Cloud Storage 全方位的ソリューション
- 4. ©2023 - Pacific Teck Japan G.K. 製品群ご紹介
- 5. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CBOX + DBOX MAX ARCHIV CLUSTER SIZE W/ TOR SPINES 304PB OF USABLE SPACE 5.1TB/S OF READ SPEED 640GB/S OF WRITE SPEED 4 X 4 X 2X 64 Port 400GE Spines 16 Racks 8 uplinks per rack 4 Uplinks to each Spine
- 6. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTの構造と思想 8x SCM 22x QLC FLASH NVMe ENCLOSURE NVME FABRIC: COMMODITY ETHERNET OR INFINIBAND CLIENTS: NFS, NFS+RDMA+GPUDirect, SMB, S3 同一データにマルチプロトコルでアクセス可能。さらに追加予定 8x SCM 22x QLC FLASH NVMe ENCLOSURE 8x SCM 22x QLC FLASH NVMe ENCLOSURE G L O B A L N A M E S P A C E PROTOCOL SERVERS プロトコル変換のみ。ステートレスでキャッシュ無し QLC NANDとSCMを用い、 大容量、高速、長寿命 高可用性を同時に実現 150/146のErasureCode
- 7. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample データ圧縮と重複排除のハイブリッド技術 COMPRESSION DEDUPLICATION VAST DATA SIMILARITY REDUCTION Fine Grained, But Local Global, But Coarse Global & Fine Grained SIMILARITY IS GAME-CHANGING EXAMPLE SAVINGS FROM SIMILARITY 3:1 3:1 2:1 3:1 8:1 Pre-Reduced Backups Pre-Compressed Log Files Life Science Data HPC Data Uncompressed Time-series Data
- 8. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTのスループット 46GB/s 162GiB/s
- 9. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTに標準搭載の機能 w/ RDMA, GPUDirect, byte-range locks NFS v3.0 & v4.1 FIPS-grade security Encryption-At-Rest Unprecedented storage efficiency Similarity-Based Data Reduction Space and performance efficient No-Overhead Snapshots Snapshot to an S3 endpoint of choice Replication to Cloud/S3 Unrivaled resilience, only 2.5% overhead Locally-Decodable Data Protection Kubernetes CSI, Manilla Driver Automation Plugins Stateful file services; stateless servers. SMB 2.1 (resilient SMB) Stateful file services from containers. S3-Compatible API, w HTTPS Support for LDAP,AD, NIS Enterprise Authentication Directory Quotas Easily traverse between file & object Multi-Protocol Namespace
- 10. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CUNO FS Object Storage POSIX File System Linux/Windows/MacOS POSIX Workloads CUNOは多彩なオブジェクトストレージをPOSIXファイルシステムとして マウントしているかのように使うことができるツール。 S3等の広大な容量を持つオブジェクトストレージから、ステージングする ことなくファイルの直接操作を実現。 同様なツールとは一線を画す、高いパフォーマンスと使い勝手。 OCI
- 11. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CUNOの使い勝手
- 12. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 多ファイルコピーでの性能評価 Lower is better 単位: 分 単位: 秒
- 13. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 大ファイルアクセス時の性能比較 Higher is better 特にオブジェクトストレージとインスタンス 間の接続が高速なクラウド環境で有用。 容量と課金を気にしながらステージング用の ストレージを用意したり、転送待ち時間を発 生させず、いきなり高速データ利用が可能。
- 14. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample • 多彩な設定、運用が可能な並列分散ファイルシステム。 • サーバー構築にカーネル変更が不要で随時アップデート可能。 • 要件に応じ、シングルノードでスモールスタートすることも、 そこから自在に拡張することも可能。 • Infiniband及び RoCEv2によるRDMAをサポート（OFED利用）。 • ターゲットのミラーリング、HSMの構成が可能。 • メタデータ、実データ共にスケールアウトとHA構成が可能。 • 長期に渡るインシデントがほぼ皆無で、安定運用の実績。
- 15. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFS オプション機能 -1- メタデータ・ストレージ両方で運用可能な、 組み込み型レプリケーション ディレクトリ単位で設定でき、冗長性が必要 なディレクトリ、帯域優先なディレクトリを 同一ファイルシステムで共存可能 RDMAによるデータ転送で、高速な同期と復旧 が可能 書込み性能は若干劣化するが、同時読込み性 能は向上する Buddy Mirror
- 16. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFS オプション機能 -2- NVMeとHDD等、異なる性能特性ストレージ ターゲットを跨いだ単一ネームスペース内 でのティアリング。 ユーザーからは透過的に見え、保存先への データ移動は、ユーザー権限で実施。ジョ ブ前後で移動などの処理は必要。 無停止でハードメンテナンス等の応用例 Storage Pool
- 17. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFSの拡張機能 インデックスサービス。OSのシステムコールを 使うことなく、膨大な数のファイル検索等を、 クエリで超高速に行うことが可能。 OSSのGUFI（Grand Unified File Index)を BeeGFSに取り込んだ実装。 BeeGFS HIVE 今後予定されてれるもの • S3ストレージをデータ領域として 追加可能に • HIVEと連携して超高速に並列での ファイルコピー • 負荷状況等のモニタリング機能の 大幅な強化 • MGMTDの記述言語をC++からRustに 変更し、機能の整理と共にセキュ リティ強化。
- 18. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 複数のサーバーの管理下にあるファイル ストレージを単一ネームスペースで統合 した仮想ファイルシステムを構成 ユーザー定義のメタデータ付与により ポリシーベースのデータ移動をはじめ さまざまな自動処理を実現 RENCI(Renaissance Computing Institute) 米国の複数大学のコンソーシアムにより 20年間開発されているミドルウエア 修正BSDライセンスのオープンソース 組織間連携を含む大規模サイトでの 導入事例が多数。 Integrated Rule Oriented Data System
- 19. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample iRODS の基本概念 Zone, Catalog, Resource • 複数のサーバーの管理下にある、 ファイルシステムやオブジェクト ストレージ(リソース)を持ち寄って 構成される、単一名前空間の仮想 ファイルシステムを Zone と呼ぶ。 • ファイルやリソースに付与される メタデータや配置情報等の総称を カタログデータと呼びRDBで管理。 • リソース間でレプリケーション等を 実現する仮想リソースを設定し、 それらを組み合わせて Zone を構成。
- 20. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample ファイルフォーマット 想定用途 チェックサム 画像解像度 前処理済みか未然か 正常データかエラーデータか 生成元情報 etc… ファイル名＋拡張子 所有者 ファイルサイズ 最終アクセス日時 Catalog Data ファイル ファイルに付随するメタデータ POSIXファイルシステムでは これらが仕様として用意されるが、 ユーザーにとっては全く不十分。 ファイルに関するメタデータは多種多彩 iRODSでは、これらをカタログデータ として自在に付与でき、RDBで管理。 ユーザーはAPIやコマンドからクエリを 発行し、検索に利用できるだけでなく iRODSによるデータ処理のトリガーや タグとしても利活用される。
- 21. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample PEP ‒Policy Enforcement Point- • iRODSは処理の途中に独自のコードを差し込 むことができる。様々なシチュエーションで 処理をフックしデータの処理や移動を記述。 配布されているティアリングプラグインも、 これで実現したサンプル。 • この再実装可能なポイントをPEPと呼び、全 体では数百実装されている。 • ルール記述はPEPに対してイベントドリブン コードを入れたり、ルールエンジンのコード を呼び出すことで行う。 • 独自文法の言語があるが、昨今はプラグイン で利用可能なPythonが使われることが多い。 APIについては、JavaやC++も対応する。
- 22. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample iRODS S3 API • 2023年11月発表。 • ZONEへのアクセスに従来のiRODSプロトコルではなく、S3を用い ることができるクライアント実装。 • マルチレイヤーオブジェクトストレージの構築が可能。 • 現時点ではマルチパート転送が未実装などの問題はあるもの の、開発は進んでおり、ゲームチェンジャーになる可能性。 https://github.com/irods/irods_client_s3_api • NFSでのアクセスを実現するクライアント実装のNFSRODSと組み 合わせ、多彩なソリューションを構築できる。 https://github.com/irods/irods_client_nfsrods
- 23. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample まとめ • データの量・サイズ・複雑性・生成速度、全ての属性が拡大傾 向にある現在、既存手法の改善と共に、新しいアーキテクチャ の開発も続いており、引き続き動向に注視したい。 • 一方で、機能付加により、利便性・パフォーマンス共に大幅な 改善を得られる場合があり、要検討。 お問合せはコチラ
- 24. ©2023 - Pacific Teck Japan G.K. Thank you!