Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

VIOPS10: SSDの基本技術と最新動向

3,204 views

Published on

SSDの基本技術と最新動向
株式会社東芝セミコンダクター&ストレージ社
ストレージプロダクツ事業部ストレージプロダクツ応用技術部
ストレージプロダクツ応用技術第三担当参事
(エンタープライズSSD商品企画グループ)
友永和総(Kazusa Tomonaga)

2015年7月24日(金曜日)14:10-18:40
VIOPS10 WORKSHOP
Virtualized Infrastructures Workshop [10]

Published in: Technology
  • Be the first to comment

VIOPS10: SSDの基本技術と最新動向

  1. 1. © 2015 Toshiba Corporation© 2015 Toshiba Corporation VIOPS10 「クラウドのつぎに起こるコト」 SSDの基本技術と最新動向 2015年 7月 24日 株式会社東芝 セミコンダクター&ストレージ社 ストレージプロダクツ事業部 ストレージプロダクツ応用技術部 ストレージプロダクツ応用技術第三担当 参事 (エンタープライズSSD商品企画グループ) 友永 和総(Kazusa Tomonaga)
  2. 2. © 2015 Toshiba Corporation 2Storage Products Division VIOPS10 友永 和総(ともなが かずさ)  現職にて、エンタープライズSSD関連のプロダクトマーケティング/商品企画を担当 – 主なお客様 • OEMベンダ中心(サーバー、ストレージベンダ):米国、日本、中国等 • 大規模データセンター事業者:拡大傾向  これまでの経歴 – 日系某社:ディスクストレージシステム(特にファームウェア)の開発設計(FC, iSCSIドラ イバ、仮想化システム等) – 外資HWベンダ:サーバー/ストレージ製品のプロダクトマーケティング – 外資NWベンダ:HPC分野/DC・クラウド分野の高速ネットワーク製品(InfiniBand, Ethernet)のテクニカルセールス/テクニカルマーケティング 自己紹介 New
  3. 3. © 2015 Toshiba Corporation 3Storage Products Division VIOPS10  NANDフラッシュメモリ動作概要  SSD動作概要  東芝エンタープライズSSDラインアップ紹介  SSD最新動向 – SSDの大容量化と低DWPD SSD – Storage Intelligence関連動向概要 – データセンター業界での取り組み例(Facebook論文紹介) Agenda
  4. 4. © 2015 Toshiba Corporation 4Storage Products Division VIOPS10 出典: IDC's Digital Universe, 「The Digital Universe of Opportunities: Rich Data and the Increasing Value of the Internet of Things」Sponsored by EMC (2014年4月) ※図は東芝にて作成 データ処理/管理はエンタープライズ システムに集中する傾向 会場投影のみ
  5. 5. © 2015 Toshiba Corporation 5Storage Products Division VIOPS10 NANDフラッシュメモリ動作概要
  6. 6. © 2015 Toshiba Corporation 6Storage Products Division VIOPS10  1987年に東芝が開発。電源を供給しなくても記憶を保持する不揮発性メモリの一種。  代表的なフラッシュ・メモリは、回路配置の違いでNOR型とNAND型に分かれる。  NAND型は高集積化に向いていて、書き込みが高速で大容量のデータストレージに適して いるが、ビット単位の書き込みはできない。 What is NAND Flash Memory? 半導体メモリ UV-EPROM MASK ROM 不揮発性 EEPROM 揮発性RAM DRAM SRAM NAND Flash NOR Flash 不揮発性: • 電源offでもデータ保持 揮発性: • 電源offでデータ消える • 高速アクセス可能
  7. 7. © 2015 Toshiba Corporation 7Storage Products Division VIOPS10 Memory Cell Memory Cell Structure (1) ワード線(WL) 選択ゲート線 (ソース側) 選択ゲート線 (ドレイン側) 1ページ (読み込み/書き出しの単位) 1ブロック (消去の単位) ビット線 コンタクト ビット線 Cell NANDフラッシュ・メモリ は、直列につながった 多数のメモリ・セルが二 つの選択ゲートに挟ま れた構造
  8. 8. © 2015 Toshiba Corporation 8Storage Products Division VIOPS10  書き込みや消去時に、制御ゲート(CG)やシリコン基板に電圧をかける。  浮遊ゲートの電子がトンネル酸化膜を通じて、シリコン基板間で出入りする。  浮遊ゲートにある電子量を「0」「1」で信号化し、情報の記録再生を行う。 Memory Cell Structure (2) ソース ドレイン 酸化膜 絶縁膜 トンネル酸化膜 シリコン基板 制御ゲート(CG) 電圧をかける 浮遊ゲートから 電子が注入または排出 メ モ リ ・ セ ル の 構 造 浮遊ゲート(FG) 電子を漏らさない ための膜 電子を格納する ゲート 通常は絶縁状態で、 データ記録・消去時に 高電圧をかけると電子 を通す性質の膜
  9. 9. © 2015 Toshiba Corporation 9Storage Products Division VIOPS10 NANDフラッシュメモリ種別:SLC/MLC/TLC *eR=Erase State, A~G=Programmed State MLC (Multi Level Cell):2-Bits NAND ・2 bits per cell is already well known technology. ・3 bits per cell (TLC) is now available in manufacturing. Bit-storage doubled 2^2=4 state “0,1” “0,0” “1,0” “1,1” Number of Bits セルデータ p nn p nn p nn p nn セルデータ “0,1” セルデータ“0,0” セルデータ“1,0” セルデータ “1,1” A B C Voltage(Vth) Bit-storage Tripled 2^3 =8 state A B C eR eR OR A eRB C D E F G OR SLC (Single Level Cell): 1-bit NAND ・1 bit per cell is technologically matured. OR Voltage(Vth) セルデータ “1” セルデータ “0” Number of Bits セルデータ “0” p nn “1” p nn eR eR A A Bit-storage singled 2^1=2 state TLC (Triple Level Cell):3-BitsNAND
  10. 10. © 2015 Toshiba Corporation 10Storage Products Division VIOPS10  Bit Cost ($/GB)・容量密度と性能・信頼性・耐久性はトレードオフの関係 NANDフラッシュメモリ種別と特徴 Vth distribution Vth Levels Bit / Cell Bit Cost, Density Write Speed Max Write/ Erase Cycles Data Retention SLC 2 1 High High High High MLC 4 2 Mid. Mid. Mid. Mid. TLC 8 3 Low Low Low Low # of cells Vth # of cells Vth # of cells Vth eR A A B C A B C D E F G *eR=Erase State A~G=Programmed State eR eR X 2 X 2 X 2 X 3 Better Better Better Better
  11. 11. © 2015 Toshiba Corporation 11Storage Products Division VIOPS10 SSD動作概要
  12. 12. © 2015 Toshiba Corporation 12Storage Products Division VIOPS10  様々な形状が製品化 SSDのフォームファクタ (Half size of 2.5inch) M.2 22x42 M.2 22x80 BGA & M.2 2230 PCIe AIC
  13. 13. © 2015 Toshiba Corporation 13Storage Products Division VIOPS10 SSD構成コンポーネント ●NANDフラッシュメモリ •データストレージ機能 •MLC/TLC技術により低価格/大容量化を実現 •1パッケージに16chipまで積層 ●コントローラ (SoC) •SSDの心臓部。NAND I/F、Host I/Fコントローラを兼ねる。 •高速化/書換寿命の長期化/高信頼性化を実現。 ●コネクタ •SATA, SAS, PCIe®, mSATA, M.2 etc. ●DRAM •Cache機能(DRAM無しの場合もある) SSD Structure (example) ●電源バックアップ用コンデンサ •停電時のデータ保護 PCB基板はモデルによって複数枚
  14. 14. © 2015 Toshiba Corporation 14Storage Products Division VIOPS10  SSD動作関連 – Page Write – Block Erase – Compaction (Garbage Collection) – Ware Leveling – Refreshing – ECC (Error Correcting Code) – BB (Bad Block) Management – FTL (Flash Translation Layer) – NAND Channels – NAND Access Interleave  SSDの動作パラメータ関連 – OP (Over Provisioning) – WAF (Write Amplification Factor) – Power – Performance (Sequential/Random, Read/Write)  SSD信頼性・寿命関連 – Lifetime – Endurance – TBW, DWPD – P/E (Program/Erase) Cycle – Data Retention – Read Disturb – UBER (Uncorrectable Bit Error Rate) SSDに関する重要キーワード
  15. 15. © 2015 Toshiba Corporation 15Storage Products Division VIOPS10 SSDの書き込み動作 (Page Write) LBA空間 Block sizeHostからの Write要求 Block 1 Block 2 Old data Page Write NAND
  16. 16. © 2015 Toshiba Corporation 16Storage Products Division VIOPS10 SSDの書き込み動作 (Page Write) LBA空間 Block sizeHostからの Write要求 Block 1 Block 2 Old data Page Write NAND 内部RAM Write 1)Read
  17. 17. © 2015 Toshiba Corporation 17Storage Products Division VIOPS10 SSDの書き込み動作 (Page Write) LBA空間 Block sizeHostからの Write要求 Block 1 Block 2 Old data Page Write NAND 内部RAM Write 1)Read Write2)Modify
  18. 18. © 2015 Toshiba Corporation 18Storage Products Division VIOPS10 SSDの書き込み動作 (Page Write) LBA空間 Block sizeHostからの Write要求 Block 1 Block 2 Old data Page Write NAND 内部RAM Write 1)Read Write2)Modify Write 3)Write & Invalidate old pages
  19. 19. © 2015 Toshiba Corporation 19Storage Products Division VIOPS10 SSDの動作 (Compaction(Garbage Collection)) Block 1 Block 2 NAND Block 1 Block 2 Block Erase NAND Copy Invalid data SSD動作のポイント: • Page単位で書き込み(上書きできない) - マイクロ秒オーダー • Block単位で消去 – ミリ秒オーダー ライトが継続する場合、余剰容量を使い尽くすため、最終的には空きBlockが無くなる。 Garbage Collectionを効率よく行っていく必要がある。
  20. 20. © 2015 Toshiba Corporation 20Storage Products Division VIOPS10 東芝エンタープライズSSDラインアップ紹介 ※本セッションでは東芝エンタープライズSATA SSDは省略しています。
  21. 21. © 2015 Toshiba Corporation 21Storage Products Division VIOPS10 Performance 東芝エンタープライズSSD(eSSD) – SAS & PCIe/NVMe SAS SSDs PCIe SSDs FutureNow Available Now • 東芝NANDフラッシュメモリ技術をエンタープライズシステムへ最適化して適用 • 高い信頼性と性能を実現する東芝自社製フラッシュコントローラーを採用 2010 2012 2015 ※本セッションでは東芝エンタープライズSATA SSDは省略しています。
  22. 22. © 2015 Toshiba Corporation 22Storage Products Division VIOPS10 Toshiba SSD Model PX01S (EOL) PX02S/03S (Available Now) New SSD (Available Soon) Form Factor 2.5” 2.5”, AIC I/F 6Gb/s SAS Dual Port 12Gb/s SAS Dual Port PCIe Gen3 x4 NVMe Single Port Capacity(GB) 100-400 100-1,600 200-4,000 800-4,000 NAND 32nm SLC 24/19nm eMLC A19nm eMLC A19nm eMLC DWPD Unlimited 1-30 1-25 1-25 Warranty 5 years Random IOPS 90K/16K 130K/42K Sequential MB/s 500/250 1,100/410 Toshiba Enterprise SSDs – Roadmap & Specification ※本内容は予告無く変更となる場合があります。 2010/12 2012/8 2015 X4 X2.5 2015 会場投影のみ
  23. 23. © 2015 Toshiba Corporation 23Storage Products Division VIOPS10 東芝エンタープライズSSDトレンド 1.0 10.0 2010 2012 2015 2015 Capacity Rand R Rand W Seq R Seq W 第1世代=1 とした場合の相対比率 Model Year Capacity RW RR SW SR 24/19nm eMLC 12Gb/s SAS ※本内容は予告無く変更となる場合があります。 PX01S 32nm SLC 6Gb/s SAS PX02S/03S New SAS SSD New PCIe SSD 会場投影のみ A19nm eMLC 12Gb/s SAS A19nm eMLC PCIe Gen3x4
  24. 24. © 2015 Toshiba Corporation 24Storage Products Division VIOPS10 NVMe – SSD専用に策定された新しいプロトコルインタフェース PCIe HBA (e.g., SAS) Host Storage Interconnect (e.g., SAS) SSD Controller NVM SSD PCIe Host NVMe SSD Controller NVM NVMe SSD Standard Interface Proprietary Interface Standard Interface 従来: • HDDの延長 • 二段階のスタック • オーバーヘッド大 NVMe: • SSD専用 • CPU直結 • オーバーヘッド小 出典:NVM Express Architecture 技術資料
  25. 25. © 2015 Toshiba Corporation 25Storage Products Division VIOPS10 SSD最新動向 ~SSDの大容量化と低DWPD SSD~
  26. 26. © 2015 Toshiba Corporation 26Storage Products Division VIOPS10  SSDの寿命 – エンタープライズSSD:5年 (クライアントSSD:1~3年(SSDによる)) SSDのカテゴリ分け指標:DWPD(Drive Writes Per Day)  DWPD(Drive Writes Per Day) – DWPD:SSDの書き込み制限TBW(Tera Bytes Written)を寿命期間で平均 すると1日当たりどの程度書き込めるかをSSD容量の倍数で表現した耐久性指標 – DWPDが大きいほど耐久性高いSSD 例:DWPD=10, 1TB, 寿命5年という仕様のSSDの場合、 下記の関係がある。 TBW=10(DWPD) x 1(TB) x 365(days) x 5(yrs)=18,250(TB)(=18.25(PB))
  27. 27. © 2015 Toshiba Corporation 27Storage Products Division VIOPS10 I/F Class Endurance (DWPD) Form factor SAS High Endurance ~x25 2.5inch, 3.5inch Mainstream ~x10 2.5inch, 3.5inch Read Intensive <x1~x3 2.5inch, 3.5inch SATA Mainstream x3~x5 2.5inch, 3.5inch, mSATATM Read Intensive <x1~x3 2.5inch, 3.5inch, mSATATM, BGA PCIe High Performance x1~x10 AIC (x8 /x16) Mainstream x3~x25 2.5inch, 3.5inch (x4) Read Intensive x1~x5 2.5inch, 3.5inch (x4) <x1~x3 M.2, 2.5inch, BGA (x2) SSDのカテゴリとRead Intensive SSD DWPDが大きいSSDは、OP(余剰容量)が大きく、ランダムライト性能が高い傾向にある。
  28. 28. © 2015 Toshiba Corporation 28Storage Products Division VIOPS10 ランダムライト性能(IOPS) SSDポジショニング コスト($/GB) 新たなカテゴリの登場 ニーズの変化 (要因考察は後述) DWPD= ~25 OP:大 DWPD=5~10 OP:中 DWPD=1~3 OP:小 DWPD < 1 OP:非常に小 OP : Over Provisioning 全物理容量のうち、SSD作業用として内部確保している容量
  29. 29. © 2015 Toshiba Corporation 29Storage Products Division VIOPS10 2013 2014 2015 2016 2017 SAS High Endurance SAS Mid Endurance SAS Read Intensive SATA Mainstream SATA Read Intensive PCIe High Performance PCIe Mainstream PCIe Low End 2013 2014 2015 2016 2017 SAS High Endurance SAS Mid Endurance SAS Read Intensive SATA Mainstream SATA Read Intensive PCIe High Performance PCIe Mainstream PCIe Low End  出荷ユニット数トレンド(units) World Wide Enterprise SSD 市場トレンド (I/F、Type別)  出荷容量トレンド (EB=1,000PB=1,000,000TB) 4M 8M 12M 1.3 EB 4.4 EB 11 EB 2x/2yr 1.5x/2yr 2.6x/2yr 3.4x/2yr 2.5x/2yr 4.3x/2yr Now Now 出典:東芝予測(2015年6月)
  30. 30. © 2015 Toshiba Corporation 30Storage Products Division VIOPS10  低DWPD SSD活用が進む背景 SSD市場動向 – 低DWPDのSSD活用が進む Vendor 容量(GB) DWPD Vendor-A 4000 0.5 Vendor-B 3840 0.5 Vendor-C 3840 0.5 低DWPD SSD製品例 Vendor 製品 容量(GB) DWPD Toshiba (検討中) SAS SSD Very Read Intensive 1,000 0.5 2,000 4,000 SSD運用実績の蓄積 ワークロード把握(I/O負荷、ライト比率)の取り組み 性能要件緩和 • 要因1:ユーザー側のノウハウ蓄積→よりコスト効率のよいSSD活用が可能となった • 要因2:SSD単体容量の増加→同じ書き込み量であればDWPD要求は低下 SSD単体容量増加 • 要因3:$/GB低下、SSD適用範囲拡大→性能要件(特にランダムライト性能)緩和 東芝SAS SSD最大容量の例:400GB1.6TB4TB
  31. 31. © 2015 Toshiba Corporation 31Storage Products Division VIOPS10 SSD最新動向 ~Storage Intelligence関連動向概要~
  32. 32. © 2015 Toshiba Corporation 32Storage Products Division VIOPS10 Storage Intelligence(ストレージ・インテリジェンス) SSD制御 ソフトウェアレイヤー SSD制御、 アプリケーション 情報の伝達 SSD運用情報 アプリケーション アプリケーションに合わせ てSSDを最大限活用 (性能、耐久性面)  NANDフラッシュメモリやSSDの特性を考慮し、ア プリケーション(Host)からSSD制御を行う仕組み (Host Managed SSD) – “Storage Intelligence”という名前でコマンド仕様の標準 化が進められている。 – SAS, SATA, NVMe(PCIe)それぞれで取り組みあり – 標準化例 • GC (Garbage Collection)制御 – 負荷の低いタイミングでSSDの内部処理をホストから 起動  SSD内部処理とI/Oの競合を低減し、性能安定化 • Stream制御 – ホスト側でライトデータにStream IDを付与し、SSD へデータ属性に関する情報を伝達  SSD内部の処理効率を向上し、耐久性向上 Host Host Managed SSD
  33. 33. © 2015 Toshiba Corporation 33Storage Products Division VIOPS10 SSD最新動向 ~データセンター業界での取り組み例(Facebook論文紹介)~
  34. 34. © 2015 Toshiba Corporation 34Storage Products Division VIOPS10  FacebookのデータセンタでのSSD故障の大規模調査結果をまとめた論文 – 元論文(ACM SIGMETRICS) • “A Large-Scale Study of Flash Memory Errors in the Field” – Proceedings of the ACM International Conference on Measurement and Modeling of Computer Systems, June 2015 • 著者 – Justin Meza: 2013-14にFacebookでインターン、その後FBに就職 – Qiang Wu, Sanjeev Kumar: インターン時のFacebook側担当者 – Onur Mutlu: CMU准教授(指導教官) – 上記論文の紹介記事(ZDNet) • Facebook’s SSD findings: Failure, fatigue and the data center 概要
  35. 35. © 2015 Toshiba Corporation 35Storage Products Division VIOPS10  調査対象 – 調査期間: 4年弱 – 合計稼働時間: 数百万日 – SSD: MLCのPCIe SSD(720GB, 1.2TB, 3.2TB)  調査方法 – 以下のデータを定期的に取得して解析 • 読み出しバイト数 • 書き込みバイト数 • uncorrectable bit error rate(UBER) • その他 – 一度でもuncorrectable bit errorが出たSSDをfailureとして扱う 調査条件
  36. 36. © 2015 Toshiba Corporation 36Storage Products Division VIOPS10  以下の知見が得られたと述べている 1. SSDの故障率はライフサイクルを通じて単調増加す るわけではない 2. Read disturbanceの影響は故障全体から見ると 少ない 3. ユーザデータが非連続で配置されていると、故障が 増える 4. 温度が上がると故障が増える(ただしスロットリングで 影響を低減できる) 5. OSレベルの書き込み量とNANDへの書き込み量は 大幅に異なる 論文のポイント フラッシュメモリ使用量 故障率 各社SSD及びフラッシュメモリについて実運用環境での ノウハウ蓄積を進めている 今後の市場/技術動向に反映されていくと思われる
  37. 37. © 2015 Toshiba Corporation 37Storage Products Division VIOPS10  SSDの基本 – 上書きできない、Garbage Collectionが内部処理として必要という特徴  SSDのトレンド – 容量・性能進化、NVMe/PCIe登場、”Read Intensive” SSDのニーズ拡大  新たな技術 • “Storage Intelligence” - ホストと連携してSSDを効率よく使う  実環境での運用検証進む – Facebookの論文紹介 まとめ 「クラウドのつぎ」ではフラッシュメモリを始めとする不揮発メモリの活用がさらに進む • SSDの制約事項を踏まえた活用 が重要 • 新技術も続々:NVMe over Fabrics、NVMP(NVM Programming Model) etc. • 企業でのノウハウ蓄積、「ワークロード」に合った製品選択
  38. 38. © 2015 Toshiba Corporation 38Storage Products Division VIOPS10  PCIeは、PCI-SIGの登録商標です。  NVMeは、NVM Express, Inc.の商標です。  その他本資料に記載の会社名および商品名は、それぞれ各社が商標として使用している場合があります。 • 東芝セミコンダクター&ストレージ社 ストレージプロダクツ情報: http://toshiba.semicon-storage.com/jp/product/storage-products.html

×