Документ рассматривает современные решения для хранения больших объемов данных, включая объектное хранилище, такое как Amazon S3, которое обеспечивает высокую масштабируемость и доступность. В нем также подчеркивается необходимость подготовиться к росту данных и важность выбора подходящих технологий для обеспечения эффективного хранения и управления данными. Обсуждаются примеры использования объектного хранилища, такие как онлайн-сервисы и приложения, которые требуют мощных решений для обработки больших объемов трафика.

1. Как хранить миллионы файлов сейчас
и миллиард файлов в будущем?
Защита данных нового поколения
Основано на технологии Acronis AnyData Engine
Александр Киров, PM

2. Виды систем хранения
Block Storage
как жесткий диск хранит
последовательность
байт
iSCSI
Виртуализация
Базы данных
Shared Storage
как shared-папка
хранит набор файлов
NFS, CIFS/SMB
Файловая шара
Бекапы
Виртуализация
Shared hosting
Object Storage
как большая библиотека
хранит миллиарды файлов
Amazon S3, Swift
Хранилище для приложений
Статический web-контент
Хранилище
для Online-сервисов
Бекапы
2015 2

3. Рост данных велик!
Надо к нему готовиться!
облачных
ЦОД
14
Новый 4Tb-диск
каждые 4 часа
USA
UK
France
Germany
Russia
Japan
Singapore
Australia
10+Petabyte
данных
2015 3

4. Новые данные — это объекты
IDC оценивает, что в 2013
году объектные хранилища
занимали 37% рынка, отдавая
большую часть рынка файловым
хранилищам. К 2017 году
размер рынка объектных
хранилищ будет уже
21.7 миллиарда долларов
* Worldwide File- and Object-Based Storage 2013–2017 Forecast (IDC #242287)
https://www.idc.com/getdoc.jsp?containerId=253055
Файловое хранилище
Объектное хранилище
Миллиарды
долларов
0
5
10
15
20
25
30
35
40
$8.5
$21.7
$14.5 $16.3
2013 2017
Рост
в 2,5 раза
2015 4

5. Изменение в ПО диктуют
новые интерфейсы
Block Storage
Доступ к блочному
хранилищу ограничен
Хорош для высокой
производительности
и локального доступа
Строгая консистентность
Shared Storage
Хорош для одновременного
доступа к небольшому
объему данных
Ограниченная
масштабируемость
Неспособен эффективно
работать с миллиардами
файлов
Object Storage
Масштабируемость
на миллиарды файлов
Пользователи все больше
запрашивают данные через
HTTP, чем через другие
протоколы
Современный подход
Консистентность
в конечном счете
2015 5

6. Пример: Open Xchange
Open Xchange — самый популярный почтовый
сервер в мире Online-share и редактирование
документов.
OX рекомендует
использование объектного
хранилища.
NFS становится не
эффективным на десятках
тысяч почтовых ящиках.
2015 6

7. Amazon S3 объектное
хранилище
1. Высокомасштабируемое хранилище
с доступом через HTTP.
2. Обеспечивает лёгкий и удобный API.
3. Объекты могут быть запрошены
обычным интернет браузером.
2015 7

8. Пример: Slideshare.net
Slideshare.net — web-сервис для хранения
презентаций. Пользователи могут
сохранять файлы публично или приватно.
Slideshare.net хранит загружаемые документы,
презентации, видео в Amazon S3.
Slideshare.net не занимается хостингом файлов.
Slideshare.net просто предоставляет ссылки
на контент, но сам контент хранится в Amazon.
Slideshare.net концентрируется на развитии портала
и не заботится о 99.99 % доступности миллионов загруженных
файлов с необходимой производительностью.
2015 8

9. Сценарий 1 из 3:
Backend для приложений
История: сервис-провайдер хочет запустить почтовый сервис на Open Xchange.
Сервис требует backend хранилище. Это может быть SAN, NAS или объектное хранилище.
S3 имеет большую масштабируемость и меньшую цену.
Для чего? Backend для приложений, поддерживающих S3.
Примеры Open Xchange, RushFiles, Acronis Backup, и др.
Зачем нужен S3?
Для легкого масштабирования и удешевления
инфраструктуры при использовании приложений,
способных работать с S3.
Почему?
Альтернатива в виде использования NAS дороже
и хуже масштабируется.
2015 9

10. Сценарий 2 из 3:
S3 public storage
История: интернет-магазин готовится к “Черной пятнице” и подготовил
новый каталог товаров. Компания арендует хостинг и хочет пережить возросшие
потребности в период “Черной пятницы”. Существует 2 решения:
1. перейти на более дорогой тариф хостинга;
2. положить каталог в объектное хранилище. S3 дешевле и лучше масштабируется.
Для чего? Хранение и раздача статического web-контента.
Примеры Хранение фотографий, видео, документов, Java-script, HTML.
Зачем нужен S3?
Для хранение больших объемов данных.
Для обеспечения глобального присутствия данных.
Для масштабируемости и обработки больших объемов трафика.
Почему?
Позволяет не заботиться о возможных нагрузках.
S3 масштабируемо и может “переварить” практически любой
объем данных. Легко контролировать доступ к данным.
2015 10

11. Применение Token
Разработчики приложений могу задавать доступ к файлам:
1. Для конкретного пользователя, передавая ему ссылку
2. С ограничением времени действия ссылки
Пользователь
Ограничение по времени
Подпись
Пример:
http://s3.amazonaws.com/ppt-download/acronis.pptx?
Signature=vYEfaAL6GjVDmPg%2F%2FHVTMZoPKCk%3D
&Expires=1442399748&AWSAccessKeyId=AKIAIA7QTBOH2LDUZRTQ
2015 11

12. Сценарий 3 из 3:
S3 for an ISV
История: online-игра Minecraft имеет множество текстур, которые запрашивают
пользователи со всего мира. Размещение их на NAS привело бы к удорожанию
инфраструктуры и проблемам с масштабируемостью.
Для чего? Хранилище для online-сервисов.
Примеры
Компании с online-бизнесом, такие как Minecraft, SlideShare,
Netflix, социальные сети, крупные торговые площадки, и др.
Зачем нужен S3?
Для публикации общедоступного контента online.
Хранения данных в соответствии с политиками
безопасности компании.
Почему?
Предоставляет хороший API и возможность управления
доступом к объектам. Существует множество библиотек для
работы с S3 на многих языках программирования.
2015 12

13. Самые крупные S3-провайдеры
Название Технология API
Количество
объектов
Регион Базовая цена
Amazon S3 Amazon S3 Amazon S3 >2 триллиона
США, Европа,
Сингапур, Япония,
Бразилия, Австралия
34-85 / TB в месяц +
трафик + операции
AT&T Synaptic Storage
as a Service
EMC Atmos +
client/server soft
EMC REST + own
clients
100 миллиардов США
100-150 / TB в месяц
+ трафик
Google Cloud Storage
Google Object
Storage
Google REST нет данных США, Европа
54-85 / TB в месяц +
трафик + операции
HP Cloud Object
Storage
OpenStack Swift Swift 100 миллиардов
США, Европа,
Сингапур, Япония
110-200 / TB в месяц
WABS: Windows Azure
Blob Storage
Microsoft Object
Storage
Microsoft REST >8 триллионов
США, Европа,
Сингапур, Япония,
Бразилия, Китай
41-85 / TB в месяц +
трафик + операции
Internap AgileFILES OpenStack Swift Swift 100 миллиардов
США, Европа,
Сингапур
80-100 / TB в месяц +
трафик + операции
Rackspace Cloud Files OpenStack Swift Swift
Несколько
миллиардов
США, Европа
75-100 / TB в месяц +
трафик
SoftLayer Object
Storage — “CloudLayer”
OpenStack Swift Swift
Несколько
миллиардов
США, Европа,
Сингапур
100 / TB в месяц +
трафик
* According to Gartner report
2015 13

14. Преимущества локального
объектного хранилища перед
Amazon S3
Некоторые данные имеют требования по месту хранения. Например:
— В определенной стране — 152‑ФЗ “О персональных данных”
— Внутри компании
Объектное хранилище должно располагаться ближе
к месту работы с данными:
— Низкая latency
— Меньше ограничений по пропускной способности
— Более дешевый трафик. Не надо платить Amazon за трафик
Позволяет сохранить деньги на NAS при использовании приложений,
которые уже поддерживают S3
При политике импортозамещения очень важно сохранять контроль
над хранилищем данных
2015 14

15. Доступные продукты для
построения S3 “у себя дома”
Название
Хранение
виртуальных
машин
NFS SMB iSCSI
Тип объектного
хранилища
Acronis Storage Да В планах В планах Да REST S3
CleverSafe Нет Да Да Нет Swift + REST S3
CEPH + S3proxy Да Да Нет Нет REST S3
Cloudian Нет Нет Нет Нет REST S3
Scality Нет Да Да Нет
HTTP/REST S3,
CDMI, Hadoop
Swift Нет Нет Нет Нет REST Swift
2015 15

16. Выводы
Рост данных велик. Необходимо к нему готовиться.
Уже сейчас перед внедрением хранилища необходимо
задумываться над масштабируемостью.
Объектное хранилище с Amazon S3 интерфейсом
может быть применимо к широкому спектру задач.
Объектное хранилище способно
решить проблему масштабируемости.
Объектное хранилище легко построить у себя дома.
2015 16

17. acronis.com
twitter.com/acronis
facebook.com/acronis
blog.acronis.com
Защита данных нового поколения
Основано на технологии Acronis AnyData Engine