SlideShare a Scribd company logo
SDS「IzumoFS」を
つくる上で考えたこと
2015/03/10
IzumoBASE株式会社
高岡 昇平
IzumoBASE株式会社
「ストレージを真にインフラにする」ことを目標
に、ストレージ専門会社として2012年に設立。
SDS「IzumoFS」の開発と提供を行っている
発表者:高岡 昇平
創業メンバー唯一の非技術者としてエンジニアリング以外の
もろもろを担当
IzumoFSを作っている人
東京大学での修士課程、博士課程に渡って
ストレージの仮想化および分散ストレージについて研究
代表取締役: 荒川 淳平
(情報理工学博士、IPA スーパークリエータ/天才プログラマ)
その他ストレージの仮想化・分散化、オンラインストレージ
サービス開発等のノウハウを持つメンバーにより開発
IzumoFSとは?
• 純粋なP2Pアーキテクチャ
• スケールアウト
• Linux上で動作
• CIFS、NFS、iSCSIをサポート
• 現行はバージョンは1.7
• v2開発中
SDSに必要なこと
• レガシーストレージの代替となる
• HWの進化を取り込む
• 新たな付加価値をつける
• 機能
• 管理性の向上
• 外部連携
IzumoFSの特徴1:自社開発
• 何度も作ったり壊したり
• IzumoFSは2012年からフルスクラッチで開発
• 最新のニーズに対応
• メモリをうまく活用
• 既存ストレージの細かい問題点を改善
課題例:ノードの入れ替え(削除と追加)
3ノードに縮退
データリバランス発生
4ノードに拡張
データリバランス発生
改善例:ノードリプレイス機能
担当しているデータのみ他ノードより収集
データリバランスが発生しない
IzumoFSの特徴2:インライン重複排除
ポストプロセス重複排除の場合
write
Files
write
write
Unique
blocks
split
split
split
dedupe
IzumoFSの特徴2:インライン重複排除
インライン重複排除の場合
split
Files
Unique
blocks
In real-time
split
split
dedupe
IzumoFSの特徴3:DR機能
拠点間クラスタ クラウドバックアップ
東京DC
大阪DC
Windows Azure
今後のロードマップ
• 管理機能の強化、外部連携
• 他ソリューションとストレージの融合
• 新しいプロトコルの対応
• 特定用途向けへのチューニングエディション
ご清聴ありがとうございました

More Related Content

Similar to SDS「IzumoFS」をつくる上で考えたこと

[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
 
使ってみようPTSV
使ってみようPTSV使ってみようPTSV
使ってみようPTSV
株式会社 システムヨシイ
 
The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発
Atsushi Kojima
 
シラサギ紹介 OSC島根
シラサギ紹介 OSC島根シラサギ紹介 OSC島根
シラサギ紹介 OSC島根
Naokazu Nohara
 
Tin Can Moodle(j)
Tin Can Moodle(j)Tin Can Moodle(j)
Tin Can Moodle(j)
Takeshi Matsuzaki
 
シラサギ紹介20161119
シラサギ紹介20161119シラサギ紹介20161119
シラサギ紹介20161119
Naokazu Nohara
 
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi IshikawaD11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi IshikawaInsight Technology, Inc.
 
EXTREME TEAM で Agile を目指して
EXTREME TEAM で Agile を目指してEXTREME TEAM で Agile を目指して
EXTREME TEAM で Agile を目指して
Shigeru Tatsuta
 
ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成
Kenichiro MITSUDA
 
シラサギハンズオン in 徳島
シラサギハンズオン in 徳島シラサギハンズオン in 徳島
シラサギハンズオン in 徳島
Naokazu Nohara
 
Spath for enterprise
Spath for enterpriseSpath for enterprise
Spath for enterprise
Koichiro Sumi
 
Apple bu20100721
Apple bu20100721Apple bu20100721
Apple bu20100721
Yutaka Fujisaki
 
モデリングの未来 〜~パネルディスカッション
モデリングの未来 〜~パネルディスカッションモデリングの未来 〜~パネルディスカッション
モデリングの未来 〜~パネルディスカッション
Tomoharu ASAMI
 
企業のオープンソース活動を支える Open Source Program Office (OSPO)
企業のオープンソース活動を支える Open Source Program Office (OSPO)企業のオープンソース活動を支える Open Source Program Office (OSPO)
企業のオープンソース活動を支える Open Source Program Office (OSPO)
takanori suzuki
 
LODEO開発ストーリー
LODEO開発ストーリーLODEO開発ストーリー
LODEO開発ストーリー
Tomohiro Shinden
 
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
SORACOM,INC
 
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Takashi Aoe
 
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるーStockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
tomoyaharabe
 
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
Hitoshi Sugimoto
 
Pytorch 強化学習プラットフォーム horizonのドキュメントを読む
Pytorch 強化学習プラットフォーム horizonのドキュメントを読むPytorch 強化学習プラットフォーム horizonのドキュメントを読む
Pytorch 強化学習プラットフォーム horizonのドキュメントを読む
mogamin
 

Similar to SDS「IzumoFS」をつくる上で考えたこと (20)

[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
 
使ってみようPTSV
使ってみようPTSV使ってみようPTSV
使ってみようPTSV
 
The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発The Twelve Factorで実践するSaaS開発
The Twelve Factorで実践するSaaS開発
 
シラサギ紹介 OSC島根
シラサギ紹介 OSC島根シラサギ紹介 OSC島根
シラサギ紹介 OSC島根
 
Tin Can Moodle(j)
Tin Can Moodle(j)Tin Can Moodle(j)
Tin Can Moodle(j)
 
シラサギ紹介20161119
シラサギ紹介20161119シラサギ紹介20161119
シラサギ紹介20161119
 
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi IshikawaD11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
D11 一つのデータベースでは、夢を現実に変えられない -Human Dreams. Make IT Real- by Taichi Ishikawa
 
EXTREME TEAM で Agile を目指して
EXTREME TEAM で Agile を目指してEXTREME TEAM で Agile を目指して
EXTREME TEAM で Agile を目指して
 
ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成ソフトウェアエンジニアと高位合成
ソフトウェアエンジニアと高位合成
 
シラサギハンズオン in 徳島
シラサギハンズオン in 徳島シラサギハンズオン in 徳島
シラサギハンズオン in 徳島
 
Spath for enterprise
Spath for enterpriseSpath for enterprise
Spath for enterprise
 
Apple bu20100721
Apple bu20100721Apple bu20100721
Apple bu20100721
 
モデリングの未来 〜~パネルディスカッション
モデリングの未来 〜~パネルディスカッションモデリングの未来 〜~パネルディスカッション
モデリングの未来 〜~パネルディスカッション
 
企業のオープンソース活動を支える Open Source Program Office (OSPO)
企業のオープンソース活動を支える Open Source Program Office (OSPO)企業のオープンソース活動を支える Open Source Program Office (OSPO)
企業のオープンソース活動を支える Open Source Program Office (OSPO)
 
LODEO開発ストーリー
LODEO開発ストーリーLODEO開発ストーリー
LODEO開発ストーリー
 
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
デブサミ関西 2017| IoTビジネスが もっと発展するために必要なものとは?
 
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
 
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるーStockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
Stockmarkの会社&サービス紹介資料ー言葉のAIで組織の情報活用能力を高めるー
 
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
民産学官で地域課題解決を目指す オープンデータ浜名湖について(20150522)
 
Pytorch 強化学習プラットフォーム horizonのドキュメントを読む
Pytorch 強化学習プラットフォーム horizonのドキュメントを読むPytorch 強化学習プラットフォーム horizonのドキュメントを読む
Pytorch 強化学習プラットフォーム horizonのドキュメントを読む
 

Recently uploaded

FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
Yuuitirou528 default
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
Fukuoka Institute of Technology
 
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
Toru Tamaki
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
Sony - Neural Network Libraries
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
iPride Co., Ltd.
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
CRI Japan, Inc.
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
NTT DATA Technology & Innovation
 

Recently uploaded (15)

FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
 
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LBカタログ
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 

SDS「IzumoFS」をつくる上で考えたこと