Fujifilm - where zettabytes lives @ hpc day 2012 kiev

688 views
630 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
688
On SlideShare
0
From Embeds
0
Number of Embeds
358
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Fujifilm - where zettabytes lives @ hpc day 2012 kiev

  1. 1. Где хранить зетабайты Дмитрий Алексеев
  2. 2. Какие еще зетабайты?Объем хранимой цифровой информации растет на 50%в год!По оценкам, в 2009 г. в мире имелось 0,8 ZettabytesВ 2010 г. их стало уже 1,2 ZettabytesК 2020 г. ожидается 35 Zettabytes!При этом:- В IT бюджеты заложен рост 2-3%**Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010
  3. 3. Расходы на хранение тоже растут (хотя и не так быстро как байты)Spending (US$ B) Расходы на энергоснабжение и охлаждение Installed Base (M Units)$300 Расходы на администрирование и управление системой 50 45$250 Расходы на новое оборудование 40$200 35 30$150 25 20$100 15 $50 10 5 $0 0
  4. 4. Как ЭФФЕКТИВНЕЕхранить большие объемыСтоимость корпоративных систем хранения при объѐме ~1PB Стоимость комплекса оборудования Стоимость носителя SAS SATA Ent. SATA Ent. Disk Disk Tape Ent. Disk Tape Ent $1/GB Оборудование $2/GB $0.5/GB $0.4/GB $0.1/GB Потребляемая 5w/TB ~0w/TB 20w/TB 5w/TB 0.4w/TB энергияДисковая систем стоит в 2-4 раза больше чем ленточная библиотека ипотребляет (а также требует охлаждения) в 10-50 раз больше чембиблиотека при рекомендованном на 1ПБ количестве драйвов.Таблица использует данные прайс-листа компании IBM на сентябрь 2011
  5. 5. У нас свой путь! Прочь от ленточного зоопарка Лента безнадежно устарела, морально и технологически! Даѐшь диски - Это современное решение - Они обеспечивают быстрый доступ - Электроэнергия у нас почти ничего не стоит - Upgrade обойдется дешево
  6. 6. На ленте хранится больше всегоданных цифровых архивов в мире.Лента хранит больше, дольше и не потребляет электричество*слайд из презентации IBM
  7. 7. 6 мифов – что из них правда? Применение и Развитие Лента безнадежно устарела Надежность Дисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данных Производительность Ленту редко используют потому что она медленная Управление Процесс записи на ленту сложнее, чем на диски Энергопотребление Современные дисковые массивы потребляют совсем не много энергии Условия хранения Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать
  8. 8. РАЗВИТИЕ – сегодня и завтра Лента безнадежно устарела? Февраль 2011 новая спецификация и выпуск накопителей StorageTek T10000C 5 Тбайт (FUJIFILM) Емкость без компрессии 5.0 Тбайт Скорость без компрессии 240 Мбайт/с Май 2011 IBM анонсировал новый стандарт 3599 с поддержкой емкости до 4Тбайт (FUJIFILM) Тип привода TS1140 IBM 3592 Advanced Data 4 Тбайта IBM 3592 Advanced Economy 500 Гбайт IBM 3592 Advanced WORM 4 Тбайта На сегодняшний день можно говорить об опережающем росте «ленточных» технологий: Скорость обновления дисковых решений : ~20% год Скорость обновления ленточных решений: ~40% год
  9. 9. В августе 2012 г. завершена спецификация поколения 6!03 октября IBM объявила о начале поставок драйвов с ноября с.г.!
  10. 10. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет. Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, и срок их службы ограничен 3-4 годами, в то время как: После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент). В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. Сан- Франциско до г. Перт (Австралия) В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолѐта Боинг 777, на котором можно долететь из Сан-Франциско в Перт. *Национальный вычислительный центр энергетических исследований США
  11. 11. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи не являются 100% гарантом сохранности данных но: У них нет постоянно вращающихся частей У них нет электронных компонентов и управляющих контролеров (одна из проблемных частей жестких дисков) Они устойчивы к ударным нагрузкам, так как в них отсутствуют хрупкие части – например, считывающие головки и микроэлектроника Они не греются.
  12. 12. ПРОИЗВОДИТЕЛЬНОСТЬ Ленту редко используют потому что она медленная? IBM 3592 привод 3592 E05 без компрессии 104 Мбайт/с с компрессией 286 Мбайт/с Ultrium LTO 5 без компрессии 140 Мбайт/с с компрессией 280 Мбайт/с StorageTek T10000C без компрессии 240 Мбайт/с с компрессией 460 Мбайт/с
  13. 13. Сравнение СКОРОСТИ передачи данныхИспользуя в библиотеке одновременно несколько приводов можнозначительно увеличить скорость за счет нескольких потоков записи max sustained data rate 3.5" HDD 15K rpm 3.5" HDD 10K rpm HDD 3.5" HDD 7.2K rpm T10000 IBM TS1120 LTO Ultrium4 Tape drive LTO Ultrium3 DLT-S4 SDLT600 Blu-ray PDD (read) Optical Disk DVD-ROM 8× 0 20 40 60 80 100 120 140 MB/sec
  14. 14. УПРАВЛЕНИЕ Процесс записи на ленту такой же как на диск? ТЕПЕРЬ ДА Исторически применялось специализированное ПО: Резервное копирование (пример BakBone) Иерархическое хранение (пример XenData) Новая технология обращения к ленте LTFS Технология партирования данных наружу в формате понятном стандартным файловым системам
  15. 15. Энергопотребление - GREEN Дисковые массивы потребляют лишь немногим больше лент.. ! Это далеко не так! Storage System Comparison Watts 500Relative 400Power @typical 300 15K 3.5"R/W 7200 3.5" 200operation Tapeload 100 0 100TB 200TB 400TB 800TB
  16. 16. УСЛОВИЯ ХРАНЕНИЯ Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать? Начиная с 5 поколения LTO Ultrium – все изменилось. Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования
  17. 17. Правильное использование решений хранения –Универсальных систем нетДисковые системы HDD, RAID- оперативные данныеОптические диски DVD, Blue Ray- небольшие архивы, back-upМагнитная лента- Большие архивы и их back-up
  18. 18. Иерархическое хранение НИКТО НЕ ОТМЕНЯЕТ (пример XenData, StorNext) $7 Combination Tape + $6,365,950 Floor space Disk leads to perfect Power & Cooling solution Maintenance Prod + DR Carts – High capacity SATA disk can offer lower cost access toMillions Hardware $3.5 online data – Tape is less expensive and $2,255,346 consumes less energy, but is not often the best choice for $946,405 online access to data – A blended solution provides $0 online access to the most SATA Disk Tape Blended Disk and recent data, with longer term Tape storage on energy-efficient tape250TB of storage
  19. 19. FUJIFILM - технологии вдохновляют Fujifilm Advanced Research Lab Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve. Fujifilm Advanced Research Laboratories (opened in April, 2006) Fujifilm’s Three Advanced Research Laboratories  Advanced Core Technology Laboratories Building future core technologies centered on photonics, nanotechnology, and functional materials  Organic Synthesis Chemistry Research Laboratories Carrying out R&D related to highly functional organic materials in such fields as the organic electronics and the medical imaging/ life-science fields  Life Science Research Laboratories Development of core technologies and products related to medical therapy and health in such fields as protein/DNA analysis and diagnostic systems, drug discovery and drug discovery support, regeneration therapy, and healthcare
  20. 20. Спасибо за внимание!

×