SlideShare a Scribd company logo
©2023 - Pacific Teck Japan G.K.
データがデータを生む時代に即した
ストレージソリューション
第23回PCクラスタシンポジウム「HPC基盤技術と生成AI」
2023年12月7-8日 於:富士ソフト アキバプラザ
Pacific Teck Japan 合同会社 Senior Engineer 森本 賢治
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
はじめに
性能要求は、Bandwidth至上主義から、IOPSとの両立が求められる。
容量は、TeraByteからPetaByteが主流になり、ExaByteが見えて来た。
利用性では、HPC、スパコンに閉じるのではなく、開かれたストレージ。
運用では、データのライフサイクル設計が必要になってくる。
AI on HPCがもたらしたストレージへの要求の変化。
GPUの進化やIoTエッジデバイスの普及、計測器や実験器具の高度化
により、データの数、サイズは常に増大傾向。
データがデータを生み、複雑な構造が作られる状況に拍車がかかっている。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
0m 10m 100m 100km
Throughput Capacity
多彩なストレージポートフォリオ
EB
PB
TB
MB/s
GB/s
TB/s
Local
Scratch
Shared
FileSystem
OnPremise
HotArchive
Cloud
Storage
全方位的ソリューション
©2023 - Pacific Teck Japan G.K.
製品群ご紹介
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
CBOX + DBOX
MAX ARCHIV CLUSTER SIZE W/ TOR
SPINES
304PB OF USABLE SPACE
5.1TB/S OF READ SPEED
640GB/S OF WRITE SPEED
4
X
4
X
2X 64 Port 400GE
Spines
16 Racks
8 uplinks per rack
4 Uplinks to each Spine
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
VASTの構造と思想
8x SCM
22x QLC FLASH
NVMe ENCLOSURE
NVME FABRIC: COMMODITY ETHERNET OR INFINIBAND
CLIENTS: NFS, NFS+RDMA+GPUDirect, SMB, S3 同一データにマルチプロトコルでアクセス可能。さらに追加予定
8x SCM
22x QLC FLASH
NVMe ENCLOSURE
8x SCM
22x QLC FLASH
NVMe ENCLOSURE
G L O B A L N A M E S P A C E
PROTOCOL SERVERS プロトコル変換のみ。ステートレスでキャッシュ無し
QLC NANDとSCMを用い、
大容量、高速、長寿命
高可用性を同時に実現
150/146のErasureCode
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
データ圧縮と重複排除のハイブリッド技術
COMPRESSION DEDUPLICATION VAST DATA SIMILARITY REDUCTION
Fine Grained, But Local Global, But Coarse Global & Fine Grained
SIMILARITY IS GAME-CHANGING
EXAMPLE SAVINGS FROM SIMILARITY
3:1 3:1 2:1 3:1 8:1
Pre-Reduced
Backups
Pre-Compressed
Log Files
Life Science
Data
HPC
Data
Uncompressed
Time-series Data
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
VASTのスループット
46GB/s
162GiB/s
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
VASTに標準搭載の機能
w/ RDMA, GPUDirect, byte-range locks
NFS v3.0 & v4.1
FIPS-grade security
Encryption-At-Rest
Unprecedented storage efficiency
Similarity-Based Data Reduction
Space and performance efficient
No-Overhead Snapshots
Snapshot to an S3 endpoint of choice
Replication to Cloud/S3
Unrivaled resilience, only 2.5% overhead
Locally-Decodable Data Protection
Kubernetes CSI, Manilla Driver
Automation Plugins
Stateful file services; stateless servers.
SMB 2.1 (resilient SMB)
Stateful file services from containers.
S3-Compatible API, w HTTPS
Support for LDAP,AD, NIS
Enterprise Authentication Directory Quotas
Easily traverse between file & object
Multi-Protocol Namespace
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
CUNO FS
Object Storage
POSIX
File System Linux/Windows/MacOS
POSIX Workloads
CUNOは多彩なオブジェクトストレージをPOSIXファイルシステムとして
マウントしているかのように使うことができるツール。
S3等の広大な容量を持つオブジェクトストレージから、ステージングする
ことなくファイルの直接操作を実現。
同様なツールとは一線を画す、高いパフォーマンスと使い勝手。
OCI
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
CUNOの使い勝手
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
多ファイルコピーでの性能評価
Lower is better
単位: 分
単位: 秒
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
大ファイルアクセス時の性能比較
Higher is better
特にオブジェクトストレージとインスタンス
間の接続が高速なクラウド環境で有用。
容量と課金を気にしながらステージング用の
ストレージを用意したり、転送待ち時間を発
生させず、いきなり高速データ利用が可能。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
• 多彩な設定、運用が可能な並列分散ファイルシステム。
• サーバー構築にカーネル変更が不要で随時アップデート可能。
• 要件に応じ、シングルノードでスモールスタートすることも、
そこから自在に拡張することも可能。
• Infiniband及び RoCEv2によるRDMAをサポート(OFED利用)。
• ターゲットのミラーリング、HSMの構成が可能。
• メタデータ、実データ共にスケールアウトとHA構成が可能。
• 長期に渡るインシデントがほぼ皆無で、安定運用の実績。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
BeeGFS オプション機能 -1-
メタデータ・ストレージ両方で運用可能な、
組み込み型レプリケーション
ディレクトリ単位で設定でき、冗長性が必要
なディレクトリ、帯域優先なディレクトリを
同一ファイルシステムで共存可能
RDMAによるデータ転送で、高速な同期と復旧
が可能
書込み性能は若干劣化するが、同時読込み性
能は向上する
Buddy Mirror
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
BeeGFS オプション機能 -2-
NVMeとHDD等、異なる性能特性ストレージ
ターゲットを跨いだ単一ネームスペース内
でのティアリング。
ユーザーからは透過的に見え、保存先への
データ移動は、ユーザー権限で実施。ジョ
ブ前後で移動などの処理は必要。
無停止でハードメンテナンス等の応用例
Storage Pool
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
BeeGFSの拡張機能
インデックスサービス。OSのシステムコールを
使うことなく、膨大な数のファイル検索等を、
クエリで超高速に行うことが可能。
OSSのGUFI(Grand Unified File Index)を
BeeGFSに取り込んだ実装。
BeeGFS HIVE
今後予定されてれるもの
• S3ストレージをデータ領域として
追加可能に
• HIVEと連携して超高速に並列での
ファイルコピー
• 負荷状況等のモニタリング機能の
大幅な強化
• MGMTDの記述言語をC++からRustに
変更し、機能の整理と共にセキュ
リティ強化。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
 複数のサーバーの管理下にあるファイル
ストレージを単一ネームスペースで統合
した仮想ファイルシステムを構成
 ユーザー定義のメタデータ付与により
ポリシーベースのデータ移動をはじめ
さまざまな自動処理を実現
 RENCI(Renaissance Computing Institute)
米国の複数大学のコンソーシアムにより
20年間開発されているミドルウエア
 修正BSDライセンスのオープンソース
 組織間連携を含む大規模サイトでの
導入事例が多数。
Integrated Rule Oriented Data System
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
iRODS の基本概念 Zone, Catalog, Resource
• 複数のサーバーの管理下にある、
ファイルシステムやオブジェクト
ストレージ(リソース)を持ち寄って
構成される、単一名前空間の仮想
ファイルシステムを Zone と呼ぶ。
• ファイルやリソースに付与される
メタデータや配置情報等の総称を
カタログデータと呼びRDBで管理。
• リソース間でレプリケーション等を
実現する仮想リソースを設定し、
それらを組み合わせて Zone を構成。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
ファイルフォーマット
想定用途
チェックサム
画像解像度
前処理済みか未然か
正常データかエラーデータか
生成元情報 etc…
ファイル名+拡張子
所有者
ファイルサイズ
最終アクセス日時
Catalog Data
ファイル
ファイルに付随するメタデータ
POSIXファイルシステムでは
これらが仕様として用意されるが、
ユーザーにとっては全く不十分。
ファイルに関するメタデータは多種多彩
iRODSでは、これらをカタログデータ
として自在に付与でき、RDBで管理。
ユーザーはAPIやコマンドからクエリを
発行し、検索に利用できるだけでなく
iRODSによるデータ処理のトリガーや
タグとしても利活用される。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
PEP ‒Policy Enforcement Point-
• iRODSは処理の途中に独自のコードを差し込
むことができる。様々なシチュエーションで
処理をフックしデータの処理や移動を記述。
配布されているティアリングプラグインも、
これで実現したサンプル。
• この再実装可能なポイントをPEPと呼び、全
体では数百実装されている。
• ルール記述はPEPに対してイベントドリブン
コードを入れたり、ルールエンジンのコード
を呼び出すことで行う。
• 独自文法の言語があるが、昨今はプラグイン
で利用可能なPythonが使われることが多い。
APIについては、JavaやC++も対応する。
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
iRODS S3 API
• 2023年11月発表。
• ZONEへのアクセスに従来のiRODSプロトコルではなく、S3を用い
ることができるクライアント実装。
• マルチレイヤーオブジェクトストレージの構築が可能。
• 現時点ではマルチパート転送が未実装などの問題はあるもの
の、開発は進んでおり、ゲームチェンジャーになる可能性。
https://github.com/irods/irods_client_s3_api
• NFSでのアクセスを実現するクライアント実装のNFSRODSと組み
合わせ、多彩なソリューションを構築できる。
https://github.com/irods/irods_client_nfsrods
©2021 - Pacific Teck Japan G.K.
Title Sample HPC & Machine Learning
Experts Title Sample
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Subheading Sample HPC & Machine Learning Experts Subheading Sample
まとめ
• データの量・サイズ・複雑性・生成速度、全ての属性が拡大傾
向にある現在、既存手法の改善と共に、新しいアーキテクチャ
の開発も続いており、引き続き動向に注視したい。
• 一方で、機能付加により、利便性・パフォーマンス共に大幅な
改善を得られる場合があり、要検討。
お問合せはコチラ
©2023 - Pacific Teck Japan G.K.
Thank you!

More Related Content

Similar to PCCC23:Pacific Teck Japan テーマ1「データがデータを生む時代に即したストレージソリューション」

[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
Google Cloud Platform - Japan
 
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
Tomoyuki Oota
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
griddb
 
ABEMA を次のフェーズへ進化させる技術への取り組み
ABEMA を次のフェーズへ進化させる技術への取り組みABEMA を次のフェーズへ進化させる技術への取り組み
ABEMA を次のフェーズへ進化させる技術への取り組み
Yusuke Goto
 
ICD/CPSY 201412
ICD/CPSY 201412ICD/CPSY 201412
ICD/CPSY 201412
Takefumi MIYOSHI
 
Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18
Masatomo Ito
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
 
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうかWebアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Chihiro Ito
 
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon Web Services Japan
 
GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較
NTT Communications Technology Development
 
Datrium overview and technology foundations
Datrium overview and technology foundations Datrium overview and technology foundations
Datrium overview and technology foundations
datriumjapan
 
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
 
マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karateマイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karate
Takanori Suzuki
 
【17-A-5】ウェブアーキテクチャの歴史と未来
【17-A-5】ウェブアーキテクチャの歴史と未来【17-A-5】ウェブアーキテクチャの歴史と未来
【17-A-5】ウェブアーキテクチャの歴史と未来Developers Summit
 
100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情
Rakuten Group, Inc.
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Kazunori Sato
 
Vldb2002 report-200210231500
Vldb2002 report-200210231500Vldb2002 report-200210231500
Vldb2002 report-200210231500
Takeo Kunishima
 
CA Japan seminar mainframe2.0 2011/10/26
CA Japan seminar mainframe2.0 2011/10/26CA Japan seminar mainframe2.0 2011/10/26
CA Japan seminar mainframe2.0 2011/10/26
Kaneko Izumi
 
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
DNA Data Bank of Japan center
 
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Shinichiro Arai
 

Similar to PCCC23:Pacific Teck Japan テーマ1「データがデータを生む時代に即したストレージソリューション」 (20)

[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
 
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
性能問題を起こしにくい 強いDBシステムの作り方(Ver. 2018.9)
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
 
ABEMA を次のフェーズへ進化させる技術への取り組み
ABEMA を次のフェーズへ進化させる技術への取り組みABEMA を次のフェーズへ進化させる技術への取り組み
ABEMA を次のフェーズへ進化させる技術への取り組み
 
ICD/CPSY 201412
ICD/CPSY 201412ICD/CPSY 201412
ICD/CPSY 201412
 
Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうかWebアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
 
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
 
GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較
 
Datrium overview and technology foundations
Datrium overview and technology foundations Datrium overview and technology foundations
Datrium overview and technology foundations
 
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
 
マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karateマイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karate
 
【17-A-5】ウェブアーキテクチャの歴史と未来
【17-A-5】ウェブアーキテクチャの歴史と未来【17-A-5】ウェブアーキテクチャの歴史と未来
【17-A-5】ウェブアーキテクチャの歴史と未来
 
100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
 
Vldb2002 report-200210231500
Vldb2002 report-200210231500Vldb2002 report-200210231500
Vldb2002 report-200210231500
 
CA Japan seminar mainframe2.0 2011/10/26
CA Japan seminar mainframe2.0 2011/10/26CA Japan seminar mainframe2.0 2011/10/26
CA Japan seminar mainframe2.0 2011/10/26
 
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
 
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
 

More from PC Cluster Consortium

PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
PC Cluster Consortium
 
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
PC Cluster Consortium
 
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PC Cluster Consortium
 
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PC Cluster Consortium
 
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
PC Cluster Consortium
 
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
PC Cluster Consortium
 
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
PC Cluster Consortium
 
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
PC Cluster Consortium
 
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
PC Cluster Consortium
 
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
PC Cluster Consortium
 
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
PC Cluster Consortium
 
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
PC Cluster Consortium
 
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
PC Cluster Consortium
 
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
PC Cluster Consortium
 
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
PC Cluster Consortium
 
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
PC Cluster Consortium
 
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
PC Cluster Consortium
 
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
PC Cluster Consortium
 
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
PC Cluster Consortium
 
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
PC Cluster Consortium
 

More from PC Cluster Consortium (20)

PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
PCCC23:SCSK株式会社 テーマ1「『Azure OpenAI Service』導入支援サービス」
 
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
PCCC23:日本AMD株式会社 テーマ2「AMD EPYC™ プロセッサーを用いたAIソリューション」
 
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23:富士通株式会社 テーマ1「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
 
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PCCC23:東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
 
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
PCCC23:日本AMD株式会社 テーマ1「AMD Instinct™ アクセラレーターの概要」
 
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
PCCC23:富士通株式会社 テーマ3「Fujitsu Computing as a Service (CaaS)」
 
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
PCCC23:日本オラクル株式会社 テーマ1「OCIのHPC基盤技術と生成AI」
 
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
PCCC23:筑波大学計算科学研究センター テーマ1「スーパーコンピュータCygnus / Pegasus」
 
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
PCCC23:株式会社計算科学 テーマ1「VRシミュレーションシステム」
 
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
PCCC22:株式会社アックス テーマ1「俺ASICとロボットと論理推論AI」
 
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
PCCC22:日本AMD株式会社 テーマ1「第4世代AMD EPYC™ プロセッサー (Genoa) の概要」
 
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
PCCC22:富士通株式会社 テーマ3「量子シミュレータ」
 
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
PCCC22:富士通株式会社 テーマ1「Fujitsu Computing as a Service (CaaS)」
 
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
PCCC22:日本電気株式会社 テーマ1「AI/ビッグデータ分析に最適なプラットフォーム NECのベクトルプロセッサ『SX-Aurora TSUBASA』」
 
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
PCCC22:東京大学情報基盤センター 「Society5.0の実現を目指す「計算・データ・学習」の融合による革新的スーパーコンピューティング」
 
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」03
 
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
PCCC22:日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
 
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
PCCC22:日本マイクロソフト株式会社 テーマ1「HPC on Microsoft Azure」
 
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
PCCC22:インテル株式会社 テーマ3「インテル® oneAPI ツールキット 最新情報のご紹介」
 
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
PCCC22:インテル株式会社 テーマ2「次世代インテル® Xeon™ プロセッサーを中心としたインテルのHPC-AI最新情報」
 

Recently uploaded

Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
kitamisetagayaxxx
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 

Recently uploaded (10)

Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 

PCCC23:Pacific Teck Japan テーマ1「データがデータを生む時代に即したストレージソリューション」

  • 1. ©2023 - Pacific Teck Japan G.K. データがデータを生む時代に即した ストレージソリューション 第23回PCクラスタシンポジウム「HPC基盤技術と生成AI」 2023年12月7-8日 於:富士ソフト アキバプラザ Pacific Teck Japan 合同会社 Senior Engineer 森本 賢治
  • 2. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample はじめに 性能要求は、Bandwidth至上主義から、IOPSとの両立が求められる。 容量は、TeraByteからPetaByteが主流になり、ExaByteが見えて来た。 利用性では、HPC、スパコンに閉じるのではなく、開かれたストレージ。 運用では、データのライフサイクル設計が必要になってくる。 AI on HPCがもたらしたストレージへの要求の変化。 GPUの進化やIoTエッジデバイスの普及、計測器や実験器具の高度化 により、データの数、サイズは常に増大傾向。 データがデータを生み、複雑な構造が作られる状況に拍車がかかっている。
  • 3. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 0m 10m 100m 100km Throughput Capacity 多彩なストレージポートフォリオ EB PB TB MB/s GB/s TB/s Local Scratch Shared FileSystem OnPremise HotArchive Cloud Storage 全方位的ソリューション
  • 4. ©2023 - Pacific Teck Japan G.K. 製品群ご紹介
  • 5. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CBOX + DBOX MAX ARCHIV CLUSTER SIZE W/ TOR SPINES 304PB OF USABLE SPACE 5.1TB/S OF READ SPEED 640GB/S OF WRITE SPEED 4 X 4 X 2X 64 Port 400GE Spines 16 Racks 8 uplinks per rack 4 Uplinks to each Spine
  • 6. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTの構造と思想 8x SCM 22x QLC FLASH NVMe ENCLOSURE NVME FABRIC: COMMODITY ETHERNET OR INFINIBAND CLIENTS: NFS, NFS+RDMA+GPUDirect, SMB, S3 同一データにマルチプロトコルでアクセス可能。さらに追加予定 8x SCM 22x QLC FLASH NVMe ENCLOSURE 8x SCM 22x QLC FLASH NVMe ENCLOSURE G L O B A L N A M E S P A C E PROTOCOL SERVERS プロトコル変換のみ。ステートレスでキャッシュ無し QLC NANDとSCMを用い、 大容量、高速、長寿命 高可用性を同時に実現 150/146のErasureCode
  • 7. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample データ圧縮と重複排除のハイブリッド技術 COMPRESSION DEDUPLICATION VAST DATA SIMILARITY REDUCTION Fine Grained, But Local Global, But Coarse Global & Fine Grained SIMILARITY IS GAME-CHANGING EXAMPLE SAVINGS FROM SIMILARITY 3:1 3:1 2:1 3:1 8:1 Pre-Reduced Backups Pre-Compressed Log Files Life Science Data HPC Data Uncompressed Time-series Data
  • 8. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTのスループット 46GB/s 162GiB/s
  • 9. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample VASTに標準搭載の機能 w/ RDMA, GPUDirect, byte-range locks NFS v3.0 & v4.1 FIPS-grade security Encryption-At-Rest Unprecedented storage efficiency Similarity-Based Data Reduction Space and performance efficient No-Overhead Snapshots Snapshot to an S3 endpoint of choice Replication to Cloud/S3 Unrivaled resilience, only 2.5% overhead Locally-Decodable Data Protection Kubernetes CSI, Manilla Driver Automation Plugins Stateful file services; stateless servers. SMB 2.1 (resilient SMB) Stateful file services from containers. S3-Compatible API, w HTTPS Support for LDAP,AD, NIS Enterprise Authentication Directory Quotas Easily traverse between file & object Multi-Protocol Namespace
  • 10. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CUNO FS Object Storage POSIX File System Linux/Windows/MacOS POSIX Workloads CUNOは多彩なオブジェクトストレージをPOSIXファイルシステムとして マウントしているかのように使うことができるツール。 S3等の広大な容量を持つオブジェクトストレージから、ステージングする ことなくファイルの直接操作を実現。 同様なツールとは一線を画す、高いパフォーマンスと使い勝手。 OCI
  • 11. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample CUNOの使い勝手
  • 12. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 多ファイルコピーでの性能評価 Lower is better 単位: 分 単位: 秒
  • 13. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample 大ファイルアクセス時の性能比較 Higher is better 特にオブジェクトストレージとインスタンス 間の接続が高速なクラウド環境で有用。 容量と課金を気にしながらステージング用の ストレージを用意したり、転送待ち時間を発 生させず、いきなり高速データ利用が可能。
  • 14. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample • 多彩な設定、運用が可能な並列分散ファイルシステム。 • サーバー構築にカーネル変更が不要で随時アップデート可能。 • 要件に応じ、シングルノードでスモールスタートすることも、 そこから自在に拡張することも可能。 • Infiniband及び RoCEv2によるRDMAをサポート(OFED利用)。 • ターゲットのミラーリング、HSMの構成が可能。 • メタデータ、実データ共にスケールアウトとHA構成が可能。 • 長期に渡るインシデントがほぼ皆無で、安定運用の実績。
  • 15. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFS オプション機能 -1- メタデータ・ストレージ両方で運用可能な、 組み込み型レプリケーション ディレクトリ単位で設定でき、冗長性が必要 なディレクトリ、帯域優先なディレクトリを 同一ファイルシステムで共存可能 RDMAによるデータ転送で、高速な同期と復旧 が可能 書込み性能は若干劣化するが、同時読込み性 能は向上する Buddy Mirror
  • 16. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFS オプション機能 -2- NVMeとHDD等、異なる性能特性ストレージ ターゲットを跨いだ単一ネームスペース内 でのティアリング。 ユーザーからは透過的に見え、保存先への データ移動は、ユーザー権限で実施。ジョ ブ前後で移動などの処理は必要。 無停止でハードメンテナンス等の応用例 Storage Pool
  • 17. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample BeeGFSの拡張機能 インデックスサービス。OSのシステムコールを 使うことなく、膨大な数のファイル検索等を、 クエリで超高速に行うことが可能。 OSSのGUFI(Grand Unified File Index)を BeeGFSに取り込んだ実装。 BeeGFS HIVE 今後予定されてれるもの • S3ストレージをデータ領域として 追加可能に • HIVEと連携して超高速に並列での ファイルコピー • 負荷状況等のモニタリング機能の 大幅な強化 • MGMTDの記述言語をC++からRustに 変更し、機能の整理と共にセキュ リティ強化。
  • 18. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample  複数のサーバーの管理下にあるファイル ストレージを単一ネームスペースで統合 した仮想ファイルシステムを構成  ユーザー定義のメタデータ付与により ポリシーベースのデータ移動をはじめ さまざまな自動処理を実現  RENCI(Renaissance Computing Institute) 米国の複数大学のコンソーシアムにより 20年間開発されているミドルウエア  修正BSDライセンスのオープンソース  組織間連携を含む大規模サイトでの 導入事例が多数。 Integrated Rule Oriented Data System
  • 19. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample iRODS の基本概念 Zone, Catalog, Resource • 複数のサーバーの管理下にある、 ファイルシステムやオブジェクト ストレージ(リソース)を持ち寄って 構成される、単一名前空間の仮想 ファイルシステムを Zone と呼ぶ。 • ファイルやリソースに付与される メタデータや配置情報等の総称を カタログデータと呼びRDBで管理。 • リソース間でレプリケーション等を 実現する仮想リソースを設定し、 それらを組み合わせて Zone を構成。
  • 20. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample ファイルフォーマット 想定用途 チェックサム 画像解像度 前処理済みか未然か 正常データかエラーデータか 生成元情報 etc… ファイル名+拡張子 所有者 ファイルサイズ 最終アクセス日時 Catalog Data ファイル ファイルに付随するメタデータ POSIXファイルシステムでは これらが仕様として用意されるが、 ユーザーにとっては全く不十分。 ファイルに関するメタデータは多種多彩 iRODSでは、これらをカタログデータ として自在に付与でき、RDBで管理。 ユーザーはAPIやコマンドからクエリを 発行し、検索に利用できるだけでなく iRODSによるデータ処理のトリガーや タグとしても利活用される。
  • 21. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample PEP ‒Policy Enforcement Point- • iRODSは処理の途中に独自のコードを差し込 むことができる。様々なシチュエーションで 処理をフックしデータの処理や移動を記述。 配布されているティアリングプラグインも、 これで実現したサンプル。 • この再実装可能なポイントをPEPと呼び、全 体では数百実装されている。 • ルール記述はPEPに対してイベントドリブン コードを入れたり、ルールエンジンのコード を呼び出すことで行う。 • 独自文法の言語があるが、昨今はプラグイン で利用可能なPythonが使われることが多い。 APIについては、JavaやC++も対応する。
  • 22. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample iRODS S3 API • 2023年11月発表。 • ZONEへのアクセスに従来のiRODSプロトコルではなく、S3を用い ることができるクライアント実装。 • マルチレイヤーオブジェクトストレージの構築が可能。 • 現時点ではマルチパート転送が未実装などの問題はあるもの の、開発は進んでおり、ゲームチェンジャーになる可能性。 https://github.com/irods/irods_client_s3_api • NFSでのアクセスを実現するクライアント実装のNFSRODSと組み 合わせ、多彩なソリューションを構築できる。 https://github.com/irods/irods_client_nfsrods
  • 23. ©2021 - Pacific Teck Japan G.K. Title Sample HPC & Machine Learning Experts Title Sample YYYY MM DD Pacific Teck / Event name – Tokyo, Japan Subheading Sample HPC & Machine Learning Experts Subheading Sample まとめ • データの量・サイズ・複雑性・生成速度、全ての属性が拡大傾 向にある現在、既存手法の改善と共に、新しいアーキテクチャ の開発も続いており、引き続き動向に注視したい。 • 一方で、機能付加により、利便性・パフォーマンス共に大幅な 改善を得られる場合があり、要検討。 お問合せはコチラ
  • 24. ©2023 - Pacific Teck Japan G.K. Thank you!