SlideShare a Scribd company logo
1 of 11
Управление свободным пространством на файловой системе в  UNIX  и  L inux Дмитрий Трубач.  IBA
Изменение ценности данных  различных типов со временем.   Ценность данных/ частота обращений 7 Дней 14 21 28 3  Мес. 6 9 1 Год 5 Лет 10 Лет Дней День Дней Мес. Мес. Источник : Enterprise Storage Group 0 20 40 60 80 100 MPEG Документы email Коды программ Базы данных
Иерархическая организация хранилищ данных Наиболее часто  используемые данные Данные требуются время от времени  Данные, возможно,  никогда не потребуются,  но хранить их нужно Стоимость за  Mb Быстродействие
Схема работы  TSM for Space Management   Ценность данных/ частота обращений 7 Дней 14 21 28 3  Мес. 6 9 1 Год 5 Лет 10 Лет Дней День Дней Мес. Мес. Источник : Enterprise Storage Group Возврат  файлов Миграция файлов . . . Сервер с  установленным  TSM  клиентом Заполненность  хранилища данных Пользователи TSM  сервер Хранилище данных 0 20 40 60 80 100
Компоненты  TSM   Ценность данных/ частота обращений Мес. 6 9 1 Год 5 Лет 10 Лет Мес. Источник : Enterprise Storage Group Демон сканирования (dsmscoutd) Демон привилегированного  доступа  ( dsmrootd ) Демон возврата ( dsmrecalld ) Реконциляция (dsmreconcile) Миграция ( dsmmigrate, dsmautomig ) Восстановление  после удаления ( dsmmigundelete ) Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера Осуществляет сканирование файловой системы для  поиска наиболее подходящих кандидатов для миграции Демон мониторинга ( dsmmonitord ) Предоставляет привелигированный доступ к некоторым сервисам файловой системы для компонент  TSM , вызываемых обычными  пользователями Осуществляет контроль уровня свободного пространства на  файловой системе. При необходимости запускает процедуру  автоматической миграции. Выполняет пересылку файлов на сервер. Вместо посланного  на сервер файла помещает ярлык на локальную файловую систему. Выполняет синхронизацию данных, находящихся на сервере, с текущим состоянием данных на локальной файловой системе Восстанавливает ошибочно удаленные ярлыки к мигрированным файлам
Автоматическая миграция при росте объема данных  60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 50 40 30 верхний порог нижний порог При достижении верхнего порога занятости, запускается автоматическая миграция данных, пока уровень занятости файловой системы не станет равным заданному нижнему порогу Уровень занятости локальной файловой системы в % от ее объема время Данные на локальном хранилище Данные на  TSM  сервере Верхний порог занятости установлен в 90%, нижний в 70%
Механизм миграции файла Файл до миграции Файл после миграции TSM  сервер dsmmigrate/dsmautomig ярлык ( ~4K ) пустая область  (sparse) атрибуты  DMAPI данные данные ID … … …
Использование  DMAPI  в  TSM   10 Лет Приложение  пользователя TSM for Space  Management Извлечение  файла из сервера read() Возврат  из  read() User -  пространство Kernel -  пространство Инициализация DMAPI Ожидание события Запись  отсутствующих блоков файла Пользовательский  процесс приостановлен Генерация события DMAPI Ответ на  событие
Логическая структура  Juelich Storage Cluster (JUST) 4 TSM Server P5-55A Force 10 E1200 208 Ports  (10GigE) /work /a rch /home 8 x 36 TB 96 TB 96 TB 288 TB Management Server P5-520
Объемы ежедневно мигрируемых данных на  /a rch 2007 2006 2005 2004
Управление свободным пространством на файловой системе в  UNIX  и  L inux Дмитрий Трубач р.т.  :  +375 17 2173384 e-mail : dtrubach@iba.by  спасибо за внимание

More Related Content

What's hot

Вячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPSВячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPSYandex
 
Опыт внедрения и использования распределенной системы хранения данных на осно...
Опыт внедрения и использования распределенной системы хранения данных на осно...Опыт внедрения и использования распределенной системы хранения данных на осно...
Опыт внедрения и использования распределенной системы хранения данных на осно...tfmailru
 
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico
 
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузки
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузкиКак мы в Почте@Mail.Ru выдерживаем высокие нагрузки
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузкиtfmailru
 
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»Tanya Denisyuk
 
Владислав Животнев - Основы DNS
Владислав Животнев - Основы DNSВладислав Животнев - Основы DNS
Владислав Животнев - Основы DNSYandex
 
Консервация процессов в домашних условиях
Консервация процессов в домашних условияхКонсервация процессов в домашних условиях
Консервация процессов в домашних условияхOpenVZ
 
Современная операционная система: что надо знать разработчику / Александр Кри...
Современная операционная система: что надо знать разработчику / Александр Кри...Современная операционная система: что надо знать разработчику / Александр Кри...
Современная операционная система: что надо знать разработчику / Александр Кри...Ontico
 
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Ontico
 
Checkpoint and Restore In Userspace: Готово или нет?
Checkpoint and Restore In Userspace: Готово или нет?Checkpoint and Restore In Userspace: Готово или нет?
Checkpoint and Restore In Userspace: Готово или нет?OpenVZ
 
Docker. Зачем он нам?
Docker. Зачем он нам?Docker. Зачем он нам?
Docker. Зачем он нам?Andrey Gerasimov
 
Docker в работе: взгляд на использование в Badoo через год
Docker в работе: взгляд на использование в Badoo через годDocker в работе: взгляд на использование в Badoo через год
Docker в работе: взгляд на использование в Badoo через годBadoo Development
 
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)Ontico
 
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)Ontico
 
Перенос данных пользователей Badoo между датацентрами
Перенос данных пользователей Badoo между датацентрамиПеренос данных пользователей Badoo между датацентрами
Перенос данных пользователей Badoo между датацентрамиAlexandr Krasheninnikov
 
My talk on monitoring systems at RootConf 2016
My talk on monitoring systems at RootConf 2016My talk on monitoring systems at RootConf 2016
My talk on monitoring systems at RootConf 2016Alex Chistyakov
 

What's hot (16)

Вячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPSВячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPS
 
Опыт внедрения и использования распределенной системы хранения данных на осно...
Опыт внедрения и использования распределенной системы хранения данных на осно...Опыт внедрения и использования распределенной системы хранения данных на осно...
Опыт внедрения и использования распределенной системы хранения данных на осно...
 
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
 
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузки
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузкиКак мы в Почте@Mail.Ru выдерживаем высокие нагрузки
Как мы в Почте@Mail.Ru выдерживаем высокие нагрузки
 
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
 
Владислав Животнев - Основы DNS
Владислав Животнев - Основы DNSВладислав Животнев - Основы DNS
Владислав Животнев - Основы DNS
 
Консервация процессов в домашних условиях
Консервация процессов в домашних условияхКонсервация процессов в домашних условиях
Консервация процессов в домашних условиях
 
Современная операционная система: что надо знать разработчику / Александр Кри...
Современная операционная система: что надо знать разработчику / Александр Кри...Современная операционная система: что надо знать разработчику / Александр Кри...
Современная операционная система: что надо знать разработчику / Александр Кри...
 
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
 
Checkpoint and Restore In Userspace: Готово или нет?
Checkpoint and Restore In Userspace: Готово или нет?Checkpoint and Restore In Userspace: Готово или нет?
Checkpoint and Restore In Userspace: Готово или нет?
 
Docker. Зачем он нам?
Docker. Зачем он нам?Docker. Зачем он нам?
Docker. Зачем он нам?
 
Docker в работе: взгляд на использование в Badoo через год
Docker в работе: взгляд на использование в Badoo через годDocker в работе: взгляд на использование в Badoo через год
Docker в работе: взгляд на использование в Badoo через год
 
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
 
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
 
Перенос данных пользователей Badoo между датацентрами
Перенос данных пользователей Badoo между датацентрамиПеренос данных пользователей Badoo между датацентрами
Перенос данных пользователей Badoo между датацентрами
 
My talk on monitoring systems at RootConf 2016
My talk on monitoring systems at RootConf 2016My talk on monitoring systems at RootConf 2016
My talk on monitoring systems at RootConf 2016
 

Viewers also liked

Modeling With Uml
Modeling With UmlModeling With Uml
Modeling With Umlsef2009
 
21 05 2009 Grigorash Surova Sef
21 05 2009 Grigorash Surova Sef21 05 2009 Grigorash Surova Sef
21 05 2009 Grigorash Surova Sefsef2009
 
Sw Team Leaderships
Sw Team LeadershipsSw Team Leaderships
Sw Team Leadershipssef2009
 
технологии качества возврат инвестиций
технологии качества   возврат инвестицийтехнологии качества   возврат инвестиций
технологии качества возврат инвестицийsef2009
 
Sef Req Elicitation Baikin
Sef Req Elicitation BaikinSef Req Elicitation Baikin
Sef Req Elicitation Baikinsef2009
 
Baikin Sef Req Elicitation
Baikin Sef Req ElicitationBaikin Sef Req Elicitation
Baikin Sef Req Elicitationsef2009
 
Sef09 Analyst In Agile
Sef09 Analyst In AgileSef09 Analyst In Agile
Sef09 Analyst In Agilesef2009
 
25.04.09 Sidorov
25.04.09 Sidorov25.04.09 Sidorov
25.04.09 Sidorovsef2009
 
Content Migration Framework
Content Migration FrameworkContent Migration Framework
Content Migration Frameworksef2009
 
Minsk Web Appl 190509
Minsk Web Appl 190509Minsk Web Appl 190509
Minsk Web Appl 190509sef2009
 
Silverlight 3.0 Sef
Silverlight 3.0   SefSilverlight 3.0   Sef
Silverlight 3.0 Sefsef2009
 
Evaluation Of Code Quality
Evaluation Of Code QualityEvaluation Of Code Quality
Evaluation Of Code Qualitysef2009
 
индустрия разработки по республики беларусь
индустрия разработки по республики беларусьиндустрия разработки по республики беларусь
индустрия разработки по республики беларусьsef2009
 
Bibichev Sef09 Analyst In Agile
Bibichev Sef09 Analyst In AgileBibichev Sef09 Analyst In Agile
Bibichev Sef09 Analyst In Agilesef2009
 
Evgeny Rybak Presentation
Evgeny Rybak PresentationEvgeny Rybak Presentation
Evgeny Rybak Presentationsef2009
 
Se Education Ukraine 2009 05 20 Im
Se Education Ukraine 2009 05 20 ImSe Education Ukraine 2009 05 20 Im
Se Education Ukraine 2009 05 20 Imsef2009
 
александров обучение в сфере Software Engineering
александров   обучение в сфере Software Engineeringалександров   обучение в сфере Software Engineering
александров обучение в сфере Software Engineeringsef2009
 
Urazbaev
UrazbaevUrazbaev
Urazbaevsef2009
 
Sef Ikhelis
Sef IkhelisSef Ikhelis
Sef Ikhelissef2009
 

Viewers also liked (20)

Modeling With Uml
Modeling With UmlModeling With Uml
Modeling With Uml
 
21 05 2009 Grigorash Surova Sef
21 05 2009 Grigorash Surova Sef21 05 2009 Grigorash Surova Sef
21 05 2009 Grigorash Surova Sef
 
Sw Team Leaderships
Sw Team LeadershipsSw Team Leaderships
Sw Team Leaderships
 
технологии качества возврат инвестиций
технологии качества   возврат инвестицийтехнологии качества   возврат инвестиций
технологии качества возврат инвестиций
 
Sef Req Elicitation Baikin
Sef Req Elicitation BaikinSef Req Elicitation Baikin
Sef Req Elicitation Baikin
 
Baikin Sef Req Elicitation
Baikin Sef Req ElicitationBaikin Sef Req Elicitation
Baikin Sef Req Elicitation
 
Sef2009
Sef2009Sef2009
Sef2009
 
Sef09 Analyst In Agile
Sef09 Analyst In AgileSef09 Analyst In Agile
Sef09 Analyst In Agile
 
25.04.09 Sidorov
25.04.09 Sidorov25.04.09 Sidorov
25.04.09 Sidorov
 
Content Migration Framework
Content Migration FrameworkContent Migration Framework
Content Migration Framework
 
Minsk Web Appl 190509
Minsk Web Appl 190509Minsk Web Appl 190509
Minsk Web Appl 190509
 
Silverlight 3.0 Sef
Silverlight 3.0   SefSilverlight 3.0   Sef
Silverlight 3.0 Sef
 
Evaluation Of Code Quality
Evaluation Of Code QualityEvaluation Of Code Quality
Evaluation Of Code Quality
 
индустрия разработки по республики беларусь
индустрия разработки по республики беларусьиндустрия разработки по республики беларусь
индустрия разработки по республики беларусь
 
Bibichev Sef09 Analyst In Agile
Bibichev Sef09 Analyst In AgileBibichev Sef09 Analyst In Agile
Bibichev Sef09 Analyst In Agile
 
Evgeny Rybak Presentation
Evgeny Rybak PresentationEvgeny Rybak Presentation
Evgeny Rybak Presentation
 
Se Education Ukraine 2009 05 20 Im
Se Education Ukraine 2009 05 20 ImSe Education Ukraine 2009 05 20 Im
Se Education Ukraine 2009 05 20 Im
 
александров обучение в сфере Software Engineering
александров   обучение в сфере Software Engineeringалександров   обучение в сфере Software Engineering
александров обучение в сфере Software Engineering
 
Urazbaev
UrazbaevUrazbaev
Urazbaev
 
Sef Ikhelis
Sef IkhelisSef Ikhelis
Sef Ikhelis
 

Similar to Sef Trubach V1.2

Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)
Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)
Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)Ontico
 
новые технологии резервного копирования
новые технологии резервного копированияновые технологии резервного копирования
новые технологии резервного копированияLiudmila Li
 
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ontico
 
Silverspoon Cluster
Silverspoon ClusterSilverspoon Cluster
Silverspoon ClusterHighLoad2009
 
софткей Diskeeper
софткей Diskeeperсофткей Diskeeper
софткей DiskeeperLiudmila Li
 
6 кареев киров
6 кареев киров6 кареев киров
6 кареев кировqasib
 
Data Destribution service OMG standart
Data Destribution service OMG standart Data Destribution service OMG standart
Data Destribution service OMG standart Sergei Seleznev
 
Серия EMC Data Domain DD600
Серия EMC Data Domain DD600Серия EMC Data Domain DD600
Серия EMC Data Domain DD600КРОК
 
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULT
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULTУправление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULT
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULTКРОК
 
Data as a service base
Data as a service baseData as a service base
Data as a service baseSergii Stukan
 
Sef Kolotygin.V4
Sef Kolotygin.V4Sef Kolotygin.V4
Sef Kolotygin.V4sef2009
 
Использование NTFS Reparse points на примере Windows HSM
Использование NTFS Reparse points на примере Windows HSMИспользование NTFS Reparse points на примере Windows HSM
Использование NTFS Reparse points на примере Windows HSMSQALab
 
Oracle Timesten
Oracle TimestenOracle Timesten
Oracle TimestenOntico
 
Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
Extreme Cloud Storage on FreeBSD, Андрей ПантюхинExtreme Cloud Storage on FreeBSD, Андрей Пантюхин
Extreme Cloud Storage on FreeBSD, Андрей ПантюхинFuenteovejuna
 
Уязвимости сервисов
Уязвимости сервисовУязвимости сервисов
Уязвимости сервисовPositive Hack Days
 
Afterparty forensics (24.03) MEPHI
Afterparty forensics (24.03) MEPHIAfterparty forensics (24.03) MEPHI
Afterparty forensics (24.03) MEPHIygoltsev
 
Extreme cloud storage on free bsd (Андрей Пантюхин)
Extreme cloud storage on free bsd (Андрей Пантюхин)Extreme cloud storage on free bsd (Андрей Пантюхин)
Extreme cloud storage on free bsd (Андрей Пантюхин)Ontico
 
Новые возможности распределенной обработки данных в памяти (Coherence)
Новые возможности распределенной обработки данных в памяти (Coherence)Новые возможности распределенной обработки данных в памяти (Coherence)
Новые возможности распределенной обработки данных в памяти (Coherence)Andrey Akulov
 
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищAlexander Reytman
 

Similar to Sef Trubach V1.2 (20)

Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)
Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)
Apache Cassandra. Ещё одно NoSQL хранилище (Владимир Климонтович)
 
новые технологии резервного копирования
новые технологии резервного копированияновые технологии резервного копирования
новые технологии резервного копирования
 
Mmx cvk-2015
Mmx cvk-2015Mmx cvk-2015
Mmx cvk-2015
 
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
 
Silverspoon Cluster
Silverspoon ClusterSilverspoon Cluster
Silverspoon Cluster
 
софткей Diskeeper
софткей Diskeeperсофткей Diskeeper
софткей Diskeeper
 
6 кареев киров
6 кареев киров6 кареев киров
6 кареев киров
 
Data Destribution service OMG standart
Data Destribution service OMG standart Data Destribution service OMG standart
Data Destribution service OMG standart
 
Серия EMC Data Domain DD600
Серия EMC Data Domain DD600Серия EMC Data Domain DD600
Серия EMC Data Domain DD600
 
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULT
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULTУправление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULT
Управление данными и защита от сбоев. Решения КРОК на основе продуктов COMMVAULT
 
Data as a service base
Data as a service baseData as a service base
Data as a service base
 
Sef Kolotygin.V4
Sef Kolotygin.V4Sef Kolotygin.V4
Sef Kolotygin.V4
 
Использование NTFS Reparse points на примере Windows HSM
Использование NTFS Reparse points на примере Windows HSMИспользование NTFS Reparse points на примере Windows HSM
Использование NTFS Reparse points на примере Windows HSM
 
Oracle Timesten
Oracle TimestenOracle Timesten
Oracle Timesten
 
Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
Extreme Cloud Storage on FreeBSD, Андрей ПантюхинExtreme Cloud Storage on FreeBSD, Андрей Пантюхин
Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
 
Уязвимости сервисов
Уязвимости сервисовУязвимости сервисов
Уязвимости сервисов
 
Afterparty forensics (24.03) MEPHI
Afterparty forensics (24.03) MEPHIAfterparty forensics (24.03) MEPHI
Afterparty forensics (24.03) MEPHI
 
Extreme cloud storage on free bsd (Андрей Пантюхин)
Extreme cloud storage on free bsd (Андрей Пантюхин)Extreme cloud storage on free bsd (Андрей Пантюхин)
Extreme cloud storage on free bsd (Андрей Пантюхин)
 
Новые возможности распределенной обработки данных в памяти (Coherence)
Новые возможности распределенной обработки данных в памяти (Coherence)Новые возможности распределенной обработки данных в памяти (Coherence)
Новые возможности распределенной обработки данных в памяти (Coherence)
 
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищ
 

More from sef2009

технопарк бнту метолит
технопарк бнту метолиттехнопарк бнту метолит
технопарк бнту метолитsef2009
 
риски тестирования
риски тестированияриски тестирования
риски тестированияsef2009
 
распознавание для Web
распознавание для Webраспознавание для Web
распознавание для Websef2009
 
персональные риски аналитика
персональные риски аналитикаперсональные риски аналитика
персональные риски аналитикаsef2009
 
ксуп кейс
ксуп кейсксуп кейс
ксуп кейсsef2009
 
блинов Java Belarus 2009
блинов   Java Belarus 2009блинов   Java Belarus 2009
блинов Java Belarus 2009sef2009
 
Sef Sivakou Tezisy
Sef Sivakou TezisySef Sivakou Tezisy
Sef Sivakou Tezisysef2009
 
Sef Sivakou Prezentacia
Sef Sivakou PrezentaciaSef Sivakou Prezentacia
Sef Sivakou Prezentaciasef2009
 
Sef Sivakou Doklad
Sef Sivakou DokladSef Sivakou Doklad
Sef Sivakou Dokladsef2009
 
Sef презентация
Sef презентацияSef презентация
Sef презентацияsef2009
 
Sef 2009
Sef 2009Sef 2009
Sef 2009sef2009
 
Sef 2009 Itsm
Sef 2009 ItsmSef 2009 Itsm
Sef 2009 Itsmsef2009
 
Alexandrov Alex Quality
Alexandrov Alex QualityAlexandrov Alex Quality
Alexandrov Alex Qualitysef2009
 
Denisv Teamwork April 23
Denisv Teamwork April 23Denisv Teamwork April 23
Denisv Teamwork April 23sef2009
 
25.04.09 Sidorov
25.04.09 Sidorov25.04.09 Sidorov
25.04.09 Sidorovsef2009
 
якимович нагрузочное тестирование клиент серверных приложений
якимович нагрузочное тестирование клиент серверных приложенийякимович нагрузочное тестирование клиент серверных приложений
якимович нагрузочное тестирование клиент серверных приложенийsef2009
 
интеграция приложений
интеграция приложенийинтеграция приложений
интеграция приложенийsef2009
 
вопросы
вопросывопросы
вопросыsef2009
 
Sef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy PresentationSef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy Presentationsef2009
 

More from sef2009 (20)

технопарк бнту метолит
технопарк бнту метолиттехнопарк бнту метолит
технопарк бнту метолит
 
риски тестирования
риски тестированияриски тестирования
риски тестирования
 
распознавание для Web
распознавание для Webраспознавание для Web
распознавание для Web
 
персональные риски аналитика
персональные риски аналитикаперсональные риски аналитика
персональные риски аналитика
 
ксуп кейс
ксуп кейсксуп кейс
ксуп кейс
 
блинов Java Belarus 2009
блинов   Java Belarus 2009блинов   Java Belarus 2009
блинов Java Belarus 2009
 
Sef Sivakou Tezisy
Sef Sivakou TezisySef Sivakou Tezisy
Sef Sivakou Tezisy
 
Sef Sivakou Prezentacia
Sef Sivakou PrezentaciaSef Sivakou Prezentacia
Sef Sivakou Prezentacia
 
Sef Sivakou Doklad
Sef Sivakou DokladSef Sivakou Doklad
Sef Sivakou Doklad
 
Sef презентация
Sef презентацияSef презентация
Sef презентация
 
Sef
SefSef
Sef
 
Sef 2009
Sef 2009Sef 2009
Sef 2009
 
Sef 2009 Itsm
Sef 2009 ItsmSef 2009 Itsm
Sef 2009 Itsm
 
Alexandrov Alex Quality
Alexandrov Alex QualityAlexandrov Alex Quality
Alexandrov Alex Quality
 
Denisv Teamwork April 23
Denisv Teamwork April 23Denisv Teamwork April 23
Denisv Teamwork April 23
 
25.04.09 Sidorov
25.04.09 Sidorov25.04.09 Sidorov
25.04.09 Sidorov
 
якимович нагрузочное тестирование клиент серверных приложений
якимович нагрузочное тестирование клиент серверных приложенийякимович нагрузочное тестирование клиент серверных приложений
якимович нагрузочное тестирование клиент серверных приложений
 
интеграция приложений
интеграция приложенийинтеграция приложений
интеграция приложений
 
вопросы
вопросывопросы
вопросы
 
Sef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy PresentationSef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy Presentation
 

Sef Trubach V1.2

  • 1. Управление свободным пространством на файловой системе в UNIX и L inux Дмитрий Трубач. IBA
  • 2. Изменение ценности данных различных типов со временем. Ценность данных/ частота обращений 7 Дней 14 21 28 3 Мес. 6 9 1 Год 5 Лет 10 Лет Дней День Дней Мес. Мес. Источник : Enterprise Storage Group 0 20 40 60 80 100 MPEG Документы email Коды программ Базы данных
  • 3. Иерархическая организация хранилищ данных Наиболее часто используемые данные Данные требуются время от времени Данные, возможно, никогда не потребуются, но хранить их нужно Стоимость за Mb Быстродействие
  • 4. Схема работы TSM for Space Management Ценность данных/ частота обращений 7 Дней 14 21 28 3 Мес. 6 9 1 Год 5 Лет 10 Лет Дней День Дней Мес. Мес. Источник : Enterprise Storage Group Возврат файлов Миграция файлов . . . Сервер с установленным TSM клиентом Заполненность хранилища данных Пользователи TSM сервер Хранилище данных 0 20 40 60 80 100
  • 5. Компоненты TSM Ценность данных/ частота обращений Мес. 6 9 1 Год 5 Лет 10 Лет Мес. Источник : Enterprise Storage Group Демон сканирования (dsmscoutd) Демон привилегированного доступа ( dsmrootd ) Демон возврата ( dsmrecalld ) Реконциляция (dsmreconcile) Миграция ( dsmmigrate, dsmautomig ) Восстановление после удаления ( dsmmigundelete ) Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера Осуществляет сканирование файловой системы для поиска наиболее подходящих кандидатов для миграции Демон мониторинга ( dsmmonitord ) Предоставляет привелигированный доступ к некоторым сервисам файловой системы для компонент TSM , вызываемых обычными пользователями Осуществляет контроль уровня свободного пространства на файловой системе. При необходимости запускает процедуру автоматической миграции. Выполняет пересылку файлов на сервер. Вместо посланного на сервер файла помещает ярлык на локальную файловую систему. Выполняет синхронизацию данных, находящихся на сервере, с текущим состоянием данных на локальной файловой системе Восстанавливает ошибочно удаленные ярлыки к мигрированным файлам
  • 6. Автоматическая миграция при росте объема данных 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 50 40 30 верхний порог нижний порог При достижении верхнего порога занятости, запускается автоматическая миграция данных, пока уровень занятости файловой системы не станет равным заданному нижнему порогу Уровень занятости локальной файловой системы в % от ее объема время Данные на локальном хранилище Данные на TSM сервере Верхний порог занятости установлен в 90%, нижний в 70%
  • 7. Механизм миграции файла Файл до миграции Файл после миграции TSM сервер dsmmigrate/dsmautomig ярлык ( ~4K ) пустая область (sparse) атрибуты DMAPI данные данные ID … … …
  • 8. Использование DMAPI в TSM 10 Лет Приложение пользователя TSM for Space Management Извлечение файла из сервера read() Возврат из read() User - пространство Kernel - пространство Инициализация DMAPI Ожидание события Запись отсутствующих блоков файла Пользовательский процесс приостановлен Генерация события DMAPI Ответ на событие
  • 9. Логическая структура Juelich Storage Cluster (JUST) 4 TSM Server P5-55A Force 10 E1200 208 Ports (10GigE) /work /a rch /home 8 x 36 TB 96 TB 96 TB 288 TB Management Server P5-520
  • 10. Объемы ежедневно мигрируемых данных на /a rch 2007 2006 2005 2004
  • 11. Управление свободным пространством на файловой системе в UNIX и L inux Дмитрий Трубач р.т. : +375 17 2173384 e-mail : dtrubach@iba.by спасибо за внимание

Editor's Notes

  1. Данная презентация описывает применение IBM Tivoli Storage Manager for Space Management для целей автоматического управления свободным пространством на файловой системе в среде UNIX и Linux .