Alekseev hpc day 2011 Kiev

695 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
695
On SlideShare
0
From Embeds
0
Number of Embeds
172
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • From a financial view, here’s how the numbers stack up. As you can see, in initial costs tape is significantly less expensive than disk in both equipment cost and power consumption. These numbers are averages and equipment costs represent list price. [click] But once our infrastructure is in place and we start to add additional capacity the savings improve dramatically. And green is becoming everyone’s color when it comes to energy. And there are big benefits when we can integrate technologies like this into our everyday operations.
  • Alekseev hpc day 2011 Kiev

    1. 1. Где живут Петабайты Дмитрий Алексеев
    2. 2. Объемы и усложнение <ul><li>Объем хранимой информации удваивается каждые 18 месяцев … При этом </li></ul><ul><ul><li>Структурированные данные (базы данных и т.д.) растут на 32% </li></ul></ul><ul><ul><li>Неструктурированные данные (пользовательские файлы, веб-контент, фотоснимки и видео и т.д.) растут на 63% </li></ul></ul><ul><ul><li>Реплицированные данные (архивы, копии и т.д.) растут на 49% </li></ul></ul>
    3. 3. Структура расходов $0 $50 $100 $150 $200 $250 $300 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 Installed Base (M Units) Spending (US$ B) Расходы на новое оборудование Расходы на администрирование и управление системой Расходы на энергоснабжение и охлаждение 0 5 10 15 20 25 30 35 40 45 50
    4. 4. Как эффективнее хранить большие объемы Tape Ent. $1/GB Equipment* SAS Disk SATA Ent. Disk $2/GB Power 20w/TB 5w/TB 0.4w/TB $0.5/GB Стоимость комплекса оборудования Стоимость корпоративных систем хранения при объёме ~1PB Стоимость носителя $0.1/GB SATA Ent. Disk Tape Ent $0.4/GB 5w/TB ~0w/TB Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и потребляет (а также требует охлаждения) в 10- 5 0 раз больше чем библиотека при рекомендованном на 1ПБ количестве драйвов. Таблица использует данные прайс - листа компании IBM на сентябрь 2011
    5. 5. На ленте хранится больше всего данных цифровых архивов в мире . Лента хранит больше, дольше и не потребляет электричество . *слайд из презентации IBM иии
    6. 6. ГДЕ ЖИВУТ ПЕТАБАЙТЫ? <ul><li>Все топ 20 вычислительных центров из топ500 списка используют ленточные библиотеки для хранения цифровых данных! </li></ul>
    7. 7. 6 мифов – что из них правда? Применение и Развитие Лента безнадежно устарела Надежность Дисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данных Производительность Ленту редко используют потому что она медленная Управление Процесс записи на ленту сложнее, чем на диски Энергопотребление Лента потребляет ни чуть не меньше чем дисковый массив Условия хранения Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать
    8. 8. РАЗВИТИЕ – сегодня и завтра Лента безнадежно устарела? Два наиболее динамично развивающихся стандарта: LTO и 3590 Принята 8 генерация стандарта LTO Ultrium
    9. 9. РАЗВИТИЕ – сегодня и завтра Лента безнадежно устарела? Февраль 2011 новая спецификация и выпуск накопителей StorageTek T10000C 5 Тбайт ( FUJIFILM ) Емкость без компрессии 5.0 Тбайт Скорость без компрессии 240 Мбайт/с Ширина ленты 12.65 мм Ширина ленты 5.2 нм Длинна ленты 1147 м Май 2011 IBM анонсировал новый стандарт 3599 с поддержкой емкости до 4Тбайт ( FUJIFILM ) Тип привода TS1140 IBM 3592 Advanced Data 4 Тбайта IBM 3592 Advanced Economy 500 Гбайт IBM 3592 Advanced WORM 4 Тбайта
    10. 10. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет. Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, и срок их службы ограничен 3-4 годами, в то время как: После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент). В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. Сан-Франциско до г. Перт (Австралия) В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолёта Боинг 777, на котором можно долететь из Сан-Франциско в Перт. *Национальный вычислительный центр энергетических исследований США
    11. 11. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи не являются 100% гарантом сохранности данных но … Нет постоянно вращающихся частей, отсутствие двигателя на носителе Не содержит электронных компонентов, отсутствие управляющих контролеров (одна из проблемных частей жестких дисков) Устойчивость к ударным нагрузкам, отсутствие хрупких частей, таких как считывающие головки и микроэлектроника Нет постоянного температурного воздействия на носитель.
    12. 12. ПРОИЗВОДИТЕЛЬНОСТЬ - ДА Ленту редко используют потому что она медленная? IBM 3592 привод 3592 E05 без компрессии 104 Мбайт/с с компрессией 286 Мбайт/с Ultrium LTO 5 без компрессии 140 Мбайт/с с компрессией 280 Мбайт/с StorageTek T10000C без компрессии 240 Мбайт/с с компрессией 460 Мбайт/с
    13. 13. Сравнение скорости передачи данных <ul><li>Используя в библиотеке одновременно несколько приводов можно значительно увеличить скорость </li></ul>Please refer to links as to “capacity” and “transfer rate”. Tape drive : uncompressed HDD/ Optical Disk : Max speed of the circumference                nearest from the edge of the disk HDD Tape   drive Optical Disk 0 20 40 60 80 100 120 140 MB/sec DVD-ROM 8× PDD (read) Blu-ray SDLT600 DLT-S4 LTO Ultrium3 LTO Ultrium4 IBM TS1120 T10000 3.5&quot; HDD 7.2K rpm 3.5&quot; HDD 10K rpm 3.5&quot; HDD 15K rpm max sustained data rate
    14. 14. ПРОИЗВОДИТЕЛЬНОСТЬ - ДА
    15. 15. УПРАВЛЕНИЕ - специальное ПО Процесс записи на ленту такой же как на диск? ТЕПЕРЬ ДА Исторически применялось специализированное ПО: Резервное копирование (пример BakBone ) Иерархическое хранение ( пример XenData) Новая технология обращения к ленте LTFS Технология партирования данных наружу в формате понятном стандартным файловым системам
    16. 16. Энергопотребление - GREEN Лента потребляет ни чуть не меньше чем дисковый массив? Нет это далеко не так. Relative Power @ typical R/W operation load Storage System Comparison Watts
    17. 17. УСЛОВИЯ ХРАНЕНИЯ – любые Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать? Начиная с 5 поколения LTO Ultrium – все изменилось. Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования
    18. 18. У ВАС ЕЩЕ ОСТАЛИСЬ СОМНЕНИЯ В ЛЕНТЕ?
    19. 19. Правильное использование решений хранения – Универсальных систем нет Information and comparison of HDD and Tape Дисковые системы HDD, RAID - оперативные данные Оптические диски DVD , Blue Ray - небольшие архивы, back-up Магнитная лента - Большие архивы и их back-up
    20. 20. Иерархическое хранение НИКТО НЕ ОТМЕНЯЕТ ( пример XenData , StorNext) 250TB of storage <ul><li>Combination Tape + Disk leads to perfect solution </li></ul><ul><ul><li>High capacity SATA disk can offer lower cost access to online data </li></ul></ul><ul><ul><li>Tape is less expensive and consumes less energy, but is not often the best choice for online access to data </li></ul></ul><ul><ul><li>A blended solution provides online access to the most recent data, with longer term storage on energy-efficient tape </li></ul></ul>Tape $946,405 $7 $3.5 $0 Millions SATA Disk $6,365,950 Blended Disk and Tape $2,255,346 Hardware Prod + DR Carts Maintenance Power & Cooling Floor space
    21. 21. Fujifilm Advanced Research Lab FUJIFILM - технологии вдохновляют <ul><li>Advanced Core Technology Laboratories </li></ul><ul><li>Building future core technologies centered on photonics, nanotechnology, and functional materials </li></ul><ul><li>Organic Synthesis Chemistry Research Laboratories </li></ul><ul><li>  Carrying out R&D related to highly functional organic materials in such fields </li></ul><ul><li>as the organic electronics and the medical imaging/ life-science fields </li></ul><ul><li>Life Science Research Laboratories </li></ul><ul><li>Development of core technologies and products related to medical therapy and health </li></ul><ul><li>in such fields as protein/DNA analysis and diagnostic systems, drug discovery </li></ul><ul><li>and drug discovery support, regeneration therapy, and healthcare </li></ul><ul><li>Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve. </li></ul>Fujifilm Advanced Research Laboratories (opened in April, 2006)   Fujifilm’s Three Advanced Research Laboratories

    ×